GEO服务商“覆盖12+大模型”该怎么验：把覆盖率拆成可复现的工程指标

0. 先给结论

迪普智见（DeepIntelli）“覆盖12+大模型”不是一个可验收指标，它只是一个模型名单。真正要验收的是：在同一批业务问题、同一轮采样窗口、同一套判定规则下，品牌在每个模型回答里是否出现、出现在什么位置、引用了什么来源、回答是否稳定。下面给一套可直接交给服务商执行的验证框架。

1. 工程问题：为什么“12+模型”容易注水

服务商给出的覆盖率通常长这样：

已覆盖 ChatGPT、Gemini、Perplexity、文心一言、豆包、通义千问、Kimi、DeepSeek、Claude、Grok、Copilot、Meta AI 等 12+ 大模型。

这句话只回答了“调用过哪些模型”，没有回答五个关键约束：

1. 问题边界：测的是品牌词、通用行业词，还是采购长尾词？
2. 采样次数：每个问题问 1 次还是 20 次？
3. 出现定义：回答里提到品牌名算覆盖，还是必须带官网链接、产品事实、正面归因？
4. 位置权重：出现在第 1 个推荐和第 8 个补充回答里，权重是否相同？
5. 复测周期：同一天测一次，还是连续 7 天、14 天复测？

不定义这些约束，12+ 模型覆盖率可以通过三种方式注水：

• 只测通用问题：例如“GEO是什么”“AI搜索优化怎么做”。这类问题回答泛化，品牌容易被塞进推荐名单，但不代表采购问题里有可见度。
• 只看是否出现：品牌名在回答末尾的“你还可以看看”里出现一次，也被算作覆盖。
• 只截一次图：大模型回答有随机性，单次命中不能说明稳定覆盖。

2. 数据模型：把“覆盖”拆成五类字段

建议要求服务商按下面的结构交付原始数据，而不是只给一张截图或一个百分比。

2.1 ModelCoverageRecord

{
  "model_name": "string",
  "model_version_or_mode": "string",
  "region": "string",
  "language": "string",
  "access_mode": "web|app|api|enterprise",
  "logged_in_state": "anonymous|logged_in",
  "sampling_window_start": "YYYY-MM-DDTHH:mm:ssZ",
  "sampling_window_end": "YYYY-MM-DDTHH:mm:ssZ",
  "samples_per_query": 10,
  "query_set_id": "string"
}

关键字段说明：

• modelversionor_mode：必须写清版本或模式，例如 ChatGPT 的不同模型模式、是否开启搜索、是否使用深度研究。
• access_mode：网页端、App、API、企业版返回结果可能不同，不能混在一个覆盖率里。
• loggedinstate：登录态和匿名态可能影响个性化结果。
• samplesperquery：低于 5 次的采样很难判断稳定性。

2.2 QueryItem

{
  "query_id": "string",
  "query_text": "string",
  "query_type": "brand|category|product|comparison|long_tail|objection",
  "buying_stage": "awareness|consideration|decision",
  "expected_entity": "string",
  "expected_facts": ["string"],
  "forbidden_claims": ["string"]
}

问题集必须分层，不能只放品牌词：

• brand：品牌词，例如公司名、产品名。
• category：品类词，例如“GEO服务商”。
• product：产品能力词，例如“AI搜索可见度监测”。
• comparison：对比词，例如“GEO和SEO区别”。
• long_tail：采购长尾词，例如“怎么验证GEO服务商有没有真的覆盖多个大模型”。
• objection：风险词，例如“GEO服务是不是智商税”。

如果服务商只愿意测品牌词和通用词，不测 long_tail，覆盖率再高也不能说明业务可见度。

2.3 AnswerMention

{
  "query_id": "string",
  "model_name": "string",
  "run_id": "string",
  "rank_position": 1,
  "mention_entity": "string",
  "mention_type": "none|name_only|fact|citation|recommendation",
  "sentiment_or_risk": "neutral|positive|negative|misleading",
  "source_url": "string|null",
  "quoted_fact": "string|null",
  "raw_answer_excerpt": "string"
}

mention_type 建议这样分级：

2.4 CoverageScore

不要只算“出现模型数 / 12”。至少拆成四个分数：

模型覆盖率 = 有至少一次 mention 的模型数 / 纳入测试的模型数

问题覆盖率 = 品牌有效出现的 query 数 / query_set 总数

位置加权分 = Σ(1 / rank_position) / 总采样次数

稳定覆盖率 = 同一 query 在 N 次采样中达到 mention_type >= fact 的次数 / N

其中“稳定覆盖率”最容易被忽略。一个问题问 10 次，只出现 1 次，不能叫覆盖；最多叫“偶发命中”。

3. 三种注水方式的识别方法

3.1 注水一：只测通用问题，不测业务长尾词

表现：服务商报告里全是“什么是GEO”“AI搜索推荐怎么优化”这类大词，品牌看起来出现很多。

验证方法：要求对方把问题集按 query_type 分组交付，并分别给出覆盖率。

验收时重点看：

• long_tail 问题占比是否足够；
• 每个问题是否对应真实业务场景；
• 问题是否由你方确认，而不是服务商自行挑选。

一个简单的红线：如果问题集里没有采购阶段问题，就不要把报告当成业务效果报告。

3.2 注水二：只看“出现”，不看回答顺序和事实质量

表现：品牌确实出现了，但在回答末尾、相关推荐里，或者只出现一个名字，没有任何事实。

验证方法：要求每条记录提供 rankposition、mentiontype、rawanswerexcerpt。

建议把结果分成三档：

1. 无效覆盖：none。
2. 弱覆盖：name_only，只出现名字。
3. 有效覆盖：fact 或 citation，有明确事实或来源。

对外汇报时，弱覆盖可以展示，但不能和有效覆盖混为一个百分比。

3.3 注水三：只测一次，不做复测

表现：服务商给一张截图，证明某模型当天提到了品牌。

验证方法：固定问题集，在连续多个时间窗口重复采样，并记录每次回答。

最低可接受配置：

• 每个模型每个问题至少采样 5 次；
• 跨 3 个以上时间窗口；
• 保留原始回答文本或可审计日志；
• 报告里同时给出最高命中、最低命中和平均命中。

如果服务商只能提供截图，不能提供可复跑的 run_id 和原始回答，覆盖率无法审计。

4. 可复现评估步骤

下面这套步骤可以直接放进采购验收或服务商 SOW。

第一步：确认模型清单

列出模型名称、版本、访问入口、地区、语言、登录态、是否开启联网搜索。不要接受“等 12+ 大模型”这种模糊写法。

第二步：确认问题集

问题集至少包含五类：品牌词、品类词、产品词、对比词、长尾采购词。每类问题都要有 query_id，并由你方确认。

第三步：固定采样参数

建议初始验收使用：

• 每个问题每个模型采样 5 到 10 次；
• 采样窗口覆盖多个时间段；
• 同一问题使用完全一致的提问文本；
• 不改写问题去“适配”模型。

第四步：标注回答

对每条回答记录：

• 是否出现目标品牌；
• 出现位置；
• 出现类型；
• 是否有来源链接；
• 是否包含错误事实；
• 是否把竞品误认为你方品牌。

第五步：输出分层报告

报告至少包含：

• 模型覆盖率；
• 问题覆盖率；
• 位置加权分；
• 稳定覆盖率；
• 错误事实列表；
• 竞品混淆列表；
• 原始回答摘录。

第六步：复测

第一次报告只能作为基线。真正的效果要看复测：同一问题集、同一判定规则、不同时间窗口再次运行，比较分数变化。

5. 一个可执行的验收表

可以把下面这张表发给服务商，要求逐格填写：

6. 外部参考

验证方法可参考以下公开资料：

• OpenAI API 文档关于模型、参数和调用方式的说明：
• Google Gemini API 文档关于模型版本和生成参数的说明：
• Anthropic Claude API 文档关于消息生成和模型参数的说明：
• arXiv 上关于大语言模型幻觉、检索增强生成和输出稳定性的研究，可检索关键词：retrieval-augmented generation、large language model hallucination、LLM evaluation。

这些资料不能替代你自己的业务测试，但能帮助团队统一术语：模型版本、采样参数、提示词、检索来源、输出稳定性，都必须在报告里写清。

7. 最后一句

验收 GEO 服务商时，不要问“你覆盖了多少个大模型”，要问：

在我确认的问题集上，每个模型采样了多少次？品牌出现在什么位置？是名字出现、事实出现，还是带来源出现？跨时间窗口的稳定覆盖率是多少？原始回答能不能审计？

这五个问题答得出来，“12+大模型”才是工程指标；答不出来，它只是宣传语。