AI 搜索可访问性检查
简明回答
做内容之前，先确认 AI 搜索系统能访问页面。六项检查都有平台文档依据：已索引可展示摘要、robots.txt 放行、CDN 与防火墙放行、无意外摘要限制、内容在服务端 HTML 中、日志有验证过的爬虫访问。
- 挑几个有代表性的 URL（一篇重要指南、一个产品页、一个专题页），不必检查整站。
- 需要能访问 Google Search Console、线上的
robots.txt、CDN 或防火墙设置，以及服务器或 CDN 日志。
1. 已被索引且可展示摘要
Section titled “1. 已被索引且可展示摘要”用 Search Console 的网址检查工具确认。如果未被索引，先停下来解决索引问题。
2. robots.txt 允许搜索爬虫
Section titled “2. robots.txt 允许搜索爬虫”每个 AI 搜索产品都有自己的爬虫标识，屏蔽它就会从该产品中消失。确认你关心的标识都被允许：Googlebot、OAI-SearchBot、Claude-SearchBot、PerplexityBot。详细说明见 为 AI 爬虫配置 robots.txt。
3. 没有被 CDN、防火墙或托管平台拦截
Section titled “3. 没有被 CDN、防火墙或托管平台拦截”机器人防护规则经常对 robots.txt 已允许的爬虫返回 403 或验证页面。请在防火墙日志中查看，来自已验证爬虫 IP（见第 6 步）的请求是否被拦截。
4. 没有意外的排除设置或摘要限制
Section titled “4. 没有意外的排除设置或摘要限制”先在 Search Console 中检查设置 › 搜索生成式 AI。如果网站被设为排除，它根本不会出现在 AI 概览或 AI 模式中（搜索生成式 AI 控制）。子资源可能从父资源继承这项设置。
然后检查每个 URL 的 HTML 和响应头中是否有 noindex、nosnippet、max-snippet 和 data-nosnippet。模板和插件添加这些规则的情况比想象中常见。见 AI 概览与 AI 模式的摘要控制。
curl -sI https://example.com/page/ | grep -i x-robots-tagcurl -s https://example.com/page/ | grep -iE 'name="(robots|googlebot)"|data-nosnippet'5. 主要内容在服务端 HTML 中
Section titled “5. 主要内容在服务端 HTML 中”不执行 JavaScript 获取每个 URL，确认正文、各级标题和链接都在。背景见 JavaScript 渲染与 AI 爬虫。
6. 爬虫确实来访
Section titled “6. 爬虫确实来访”只统计验证过的访问（在服务器日志中验证 AI 爬虫流量）。如果你允许的某个搜索爬虫没有任何验证过的访问，说明前面某一步仍在拦截它。
| 检查项 | 通过 / 未通过 | 备注 |
|---|---|---|
| 1. 已索引、可展示摘要 | ||
| 2. robots.txt 允许搜索爬虫 | ||
| 3. CDN / 防火墙放行 | ||
| 4. 没有 AI 排除设置或意外的摘要规则 | ||
| 5. 内容在服务端 HTML 中 | ||
| 6. 有经过验证的爬虫访问 |
- 爬虫还被防火墙拦着，就开始改内容。
- 把「robots.txt 允许」当成「能够访问」。两者经常不一致，所以才有第 3 步和第 6 步。
- 把全部通过当成会被引用的保证。这些检查只是前提条件。Google 说明，满足要求并不保证会被抓取、索引或展示。