技术/SEO 负责人的 GEO 最佳实践

这篇写给负责可抓取性的人：技术 SEO、平台工程师或网站负责人。它把六步的 AI 搜索可访问性检查 扩展成一套可以长期负责的流程。第一次完整检查约需两三天，之后每月几小时。你需要 Search Console、Bing Webmaster Tools、CDN 或 WAF 设置，以及原始访问日志。

一句话路线

1. 确认关键页面在 Google 和 Bing 已被索引，且可展示摘要。
2. 按爬虫标识设置 robots.txt，把搜索和训练分开。
3. 检查 CDN、WAF 和托管平台是否放行同样的爬虫。
4. 去掉意外的摘要限制和 AI 排除设置。
5. 确保正文在服务端 HTML 中。
6. 在日志里验证真实的爬虫访问；做国内市场的，也要验证国内搜索引擎。
7. 把这些检查自动化，回归时报警。

每一层都可能挡住下一层，从上往下查。

1. 索引与摘要资格

这里的每个 AI 搜索产品都建立在搜索索引之上。页面没被索引，后面的一切都无从谈起。

要在 AI 概览或 AI 模式中作为支持链接出现，页面「必须已被编入索引，并有资格在 Google 搜索中以摘要形式展示」。没有其他技术要求。

官方文档已说明 · Google Search Central

• 用网址检查工具抽查各类模板，不要只查首页（网址检查工具）。
• 在网页索引编制报告里看有没有整类模板掉出索引（网页索引编制报告、排查网页未被 Google 收录）。
• 在 Bing Webmaster Tools 里做同样的检查，AI Performance 报告也在那里（Bing AI 表现报告（AI Performance））。

2. 按标识设置 robots.txt

每家 AI 公司现在都有多个用途不同的机器人。先写清楚允许哪些用途，再把用途对应到具体标识。

OpenAI 说明 OAI-SearchBot 和 GPTBot 的设置相互独立。网站可以允许 OAI-SearchBot 以出现在 ChatGPT 搜索中，同时禁止 GPTBot。修改约 24 小时后在搜索中生效。

官方文档已说明 · OpenAI

Anthropic 区分 ClaudeBot（训练）、Claude-User（用户请求的抓取）和 Claude-SearchBot（搜索索引）。屏蔽后两者可能降低在 Claude 中的可见度。

官方文档已说明 · Anthropic

对 Google 来说，AI 功能是搜索的一部分，所以针对 Googlebot 的 robots.txt 规则就是抓取控制。Google-Extended 作用于 Google 的其他部分 AI 系统，不作用于搜索。

官方文档已说明 · Google Search Central

2026 年 8 月对 130 家公司网站 robots.txt 的检查发现，做出明确选择的公司几乎从不屏蔽搜索类爬虫。作者认为同时屏蔽搜索类和训练类爬虫是最常见、代价最大的错误。

实践观察 · 观测于 2026-08 · DATA17 AI Research Lab · 解数智能 (未公开报告，没有公开链接，读者无法自行核对)

用途	要检查的标识
搜索索引	Googlebot、Bingbot、OAI-SearchBot、Claude-SearchBot、PerplexityBot
用户触发抓取	ChatGPT-User、Claude-User、Perplexity-User
训练	GPTBot、ClaudeBot、Google-Extended
国内搜索	Baiduspider、360Spider、Sogou web spider、Bytespider

各标识的语法见 为 AI 爬虫配置 robots.txt 和 robots.txt。

先按用途写策略，再落到标识。「屏蔽 AI」算不上策略。

3. CDN、WAF 与托管

robots.txt 说明你允许什么，边缘网络决定实际放过什么。机器人管理产品现在都带有针对 AI 的默认设置，而且这些默认值会变。

Google 把「确保 robots.txt 以及任何 CDN 或托管基础设施都允许抓取」列为对 AI 功能仍然重要的做法之一。

官方文档已说明 · Google Search Central

Cloudflare 旧版的「Block AI bots」设置会屏蔽被归类为 AI 训练用途的已验证机器人，不包括同时用于训练和搜索的混合用途机器人。Cloudflare 表示，自 2026 年 9 月 15 日起新域名采用新的默认值：在有广告的页面屏蔽训练类和代理类机器人，放行搜索类机器人；任何 AI 训练屏蔽选项都会屏蔽搜索与训练混合的爬虫。

官方文档已说明 · Cloudflare

• 导出作用于该站点的机器人规则、托管规则集和限速规则。
• 逐个确认第 2 节的搜索类标识是被放行，而不是被质询。
• 在防火墙日志里查已验证爬虫 IP 收到的 403、429 和验证页面。
• CDN 套餐变更、新增区域或服务商发布公告后，重新检查。见 HTTP 状态码与爬虫。

4. 摘要控制与 AI 排除

模板、插件和法务要求都会加上摘要限制。页面可能仍在传统结果中有排名，却悄悄从 AI 回答中消失。

nosnippet 会阻止内容被直接用作 AI 概览和 AI 模式的输入。max-snippet 会限制可使用的内容量。

官方文档已说明 · Google Search Central

如果用 Search Console 的搜索生成式 AI 控制排除网站，它的链接和内容就不会出现在 AI 概览、AI 模式及相关功能中。这项控制不影响 AI 训练（训练用 Google-Extended），也不是退出搜索的办法（退出用 noindex）。

官方文档已说明 · Google Search Console Help

• 在 HTML 和响应头中查找 noindex、nosnippet、max-snippet、data-nosnippet 和 X-Robots-Tag。
• 检查每个 Search Console 资源（包括父域名）的设置 › 搜索生成式 AI。
• 有意加限制的页面单独列表，写明原因。

详见 AI 概览与 AI 模式的摘要控制、搜索生成式 AI 控制。

5. 渲染

Google 会渲染 JavaScript，大多数 AI 爬虫不会。只在客户端渲染后出现的内容，它们可能看不到。

Google 推荐服务端渲染或预渲染，因为「并非所有机器人都能运行 JavaScript」。

官方文档已说明 · Google Search Central

观测于 2024-12，已超过 9 个月。AI 搜索平台变化频繁，引用前请重新测试。

Vercel 和 MERJ 于 2024 年 12 月发布的测试发现，他们考察的主要 AI 爬虫都不渲染 JavaScript，涉及 OpenAI、Anthropic、Meta、字节跳动和 Perplexity 的爬虫。使用 Googlebot 基础设施的 Gemini 会渲染。

实践观察 · 观测于 2024-12 · Vercel & MERJ

关闭 JavaScript 抓取每类模板，把正文与渲染后的页面对比。按模板修，不要按单个网址修。见 JavaScript 渲染与 AI 爬虫 和 Next.js、Vue 等前端渲染站点：让 AI 爬虫读到正文。

6. 在日志里验证访问

User-agent 很容易伪造。只统计能通过 DNS 或公开 IP 段验证的访问。

Google 的爬虫可以通过反向 DNS 查询再加正向查询来验证，也可以与 Google 公布的 IP 列表比对。

官方文档已说明 · Google

OpenAI 以 JSON 公布各爬虫的 IP 地址：openai.com/searchbot.json（OAI-SearchBot）、openai.com/gptbot.json（GPTBot）和 openai.com/chatgpt-user.json（ChatGPT-User）。

官方文档已说明 · OpenAI

国内市场的各家引擎都有自己的验证方法。

百度建议对 IP 做反向 DNS 查询。Baiduspider 的主机名是 *.baidu.com 或 *.baidu.jp，百度称其他主机名都是冒充的。

官方文档已说明 · Baidu

360 搜索表示其爬虫暂不支持 nslookup 验证，应与其公布的 IP 段比对。其 user agent 以 360Spider 结尾。

官方文档已说明 · 360 Search

头条搜索的爬虫名为 Bytespider，2019 年 11 月公布了六个 /24 IP 段。

官方文档已说明 · Toutiao Search

每天跑一个任务，按标识把每行日志标为已验证、未验证或伪造。方法和脚本见 在服务器日志中验证 AI 爬虫流量。国内平台背景见 国内 GEO 实战：豆包、元宝、千问、文心、DeepSeek 与 Kimi。

已放行的爬虫却没有一次验证过的访问，这是故障，不是这周比较安静。

7. 监控与回归

大多数准入问题是回归：一条新的 WAF 规则、一次模板改动、某次发布顺手改了 robots.txt。上面的检查应该自动运行。本节是本站推荐的做法，不是平台文档。

• robots.txt 差异： 每天抓取，搜索类标识的规则有任何变化就报警。
• 响应头与 meta 测试： 在 CI 中，如果可索引模板被加上 noindex 或 nosnippet，构建失败。
• 无 JS 内容测试： 在 CI 中，不执行 JavaScript 抓取关键模板，断言某句已知正文存在。
• 边缘测试： 从外网用各搜索类 user agent 请求关键网址，遇到 403、429 或验证页面就报警。伪造 UA 测试不能证明真实爬虫能通过，要和日志验证配合。
• 日志看板： 按标识统计每日已验证访问，某个标识降到零时报警。
• 负责人与手册： 指定一个爬虫准入负责人，并记录谁有权改 CDN 机器人设置。

不要做的事

• 不要用一条规则同时屏蔽搜索类和训练类爬虫。 这是最常见、代价最大的错误（第 2 节）。
• 不要只信 robots.txt。 CDN 可以覆盖它（第 3 节）。
• 不要统计未验证的 user agent。 它们会虚增爬虫流量（在服务器日志中验证 AI 爬虫流量）。
• 能用 robots.txt 解决的，不要按 IP 屏蔽 AI 机器人。 Anthropic 提醒，IP 屏蔽会让它的爬虫读不到 robots.txt（在服务器日志中验证 AI 爬虫流量）。
• 不要把检查通过当成引用保证。 这些只是前提条件（Google 搜索基本要求（Search Essentials））。
• 不要为了排名给 AI 做专门文件。 Google 搜索会忽略 llms.txt（说法核查：llms.txt 能提升 AI 搜索可见度）。

怎么判断有没有效果

• 每类关键模板的检查全部通过，并记录日期（AI 搜索可访问性检查）。
• 每个已放行的搜索类标识都有已验证访问，且稳定或上升。
• 页面出现在 Search Console 的生成式 AI 报告（Search Console 中的 AI 概览与 AI 模式数据）和 Bing 的 AI Performance 报告中。

微软：「AI Performance 不衡量排名、权威、表现或重要性，只显示哪些内容被引用。」

官方文档已说明 · Microsoft Bing

• 固定问题集里的引用占比，按趋势汇报（用提示词抽样测量 AI 可见度、写给市场负责人：怎么衡量 GEO、向老板汇报什么）。

证据一览

建议	证据
已索引且可展示摘要	官方（Google）
按用途和标识设置 robots.txt	官方（OpenAI、Anthropic、Google）；常见错误为实践观察（DATA17，2026）
CDN 和 WAF 放行搜索类爬虫	官方（Google、Cloudflare）
无意外摘要限制或 AI 排除	官方（Google）
正文服务端渲染	官方（Google）+ 实践观察（Vercel/MERJ，2024）
用 DNS 或 IP 列表验证爬虫	官方（Google、OpenAI、百度、360、头条）
自动化回归测试	推测（本站推荐做法）