用提示词抽样测量 AI 可见度
简明回答
可见度是比例,每个问题至少问 30 次,可见度 50% 时标准误约 ±9 个百分点。要在用户用的产品里测:一项测试中 DeepSeek API 推荐率 69%,App 只有 1%。品类词和品牌词分开报告。
部分搜索平台会提供 AI 数据:Google 统计 AI 功能中的展示次数,Bing 统计引用次数,参见 Search Console 中的 AI 概览与 AI 模式数据 和 Bing AI 表现报告(AI Performance)。豆包、DeepSeek、ChatGPT App 这类助手不公开任何数据。想知道自己有没有被提到,只能反复去问,然后计数。本条目讲怎样做,数字才有意义。
可见度是一个比例
Section titled “可见度是一个比例”同一个问题问同一个模型,每次给出的品牌都会变。所以「我们有没有被推荐」没有是或否的答案。能测量的是提到你的回答占全部回答的比例。只问几次估出来的比例,大部分是噪声。
基本统计学给出了下限:对 N 次独立提问测得的比例 p,标准误为 √(p(1−p)/N)。(这个计算是我们做的,不出自下面引用的来源。)
| 每个问题提问次数(N) | 可见度 20% 时的标准误 | 50% 时 | 50% 时的 95% 区间 |
|---|---|---|---|
| 5 | ±18 个百分点 | ±22 个百分点 | ±44 个百分点 |
| 10 | ±13 个百分点 | ±16 个百分点 | ±31 个百分点 |
| 30 | ±7 个百分点 | ±9 个百分点 | ±18 个百分点 |
| 60 | ±5 个百分点 | ±6 个百分点 | ±13 个百分点 |
| 100 | ±4 个百分点 | ±5 个百分点 | ±10 个百分点 |
实际操作中,各次提问并不完全独立,比如同一账号、同一时段、检索结果有缓存。所以真实误差通常比上表更大。
该研究给出的 30 次时的波动(±6–8%)与上表的标准误接近。但 100 次时的 ±2% 小于抽样理论允许的范围(±4–5 个百分点),这一行要谨慎看待。报告没有说明波动是怎样计算的。
在用户实际提问的地方测
Section titled “在用户实际提问的地方测”API 与消费端 App 的模型、检索设置、系统提示词和地域处理都可能不同。所以 API 不能当作用户所见结果的廉价替代。要在客户使用的产品里测:用未登录状态或新账号,在客户所在的城市提问。如果为了规模也跑 API,两套数据要分开记。
品牌在一个平台上的可见度,很难推知它在另一个平台上的表现;被提到也不等于被第一个提到。
各平台要分开报告。除了记录品牌是否出现,还要记下它第一次被提到的位置。
问题要反映真实需求
Section titled “问题要反映真实需求”包含品牌名的问题几乎总会返回你的品牌,这说明不了什么。新客户问的是品类问题,比如「附近哪家普拉提适合腰不好的人」。问题集要来自真实的客户提问,按意图分组,各组分开报告。品牌词问题仍然有用,可以检查 AI 对你的描述是否准确。
最简测量流程
Section titled “最简测量流程”- 事先固定问题集,每轮之间保持不变,结果才能比较。必须改动时,记录版本。
- 每次提问都记录环境:产品(App 或 API)、模型或模式、账号状态、地点、日期。
- 每个问题在每种环境下每轮至少问 30 次。很少提到你的问题,次数要更多。
- 报告比例时附上误差范围,例如「41% ± 9 个百分点,n = 30,豆包 App,上海,2026-10」。不要拿单张截图当结果。
- 轮与轮之间有波动是正常的。 模型和检索一直在变,小于抽样误差的变化不算结果。声称在 AI 回答中「稳定第一」的,都值得怀疑。
- 保留原始回答。 计数规则会变,你会需要重新计数。
第三方 GEO 工具会替你做这种抽样。它们和你一样,是从外部观察回答。没有任何工具能看到 Google 系统内部(说法核查:GEO 工具能看到你在 Google AI 内部的排名)。