学习路径：开发者
- 适合谁
- 负责开发或运维网站，希望搜索引擎和 AI 爬虫能访问并读懂它。
- 读完能得到
- 一个 AI 爬虫能访问、能渲染、能引用的网站，并有日志证明。
阅读顺序
- AI 搜索可访问性检查先排查目前有哪些因素挡住了 AI 搜索。
- 为 AI 爬虫配置 robots.txt该放行哪些爬虫，各自做什么用。
- Google-Extended控制 Gemini 训练、而非搜索的那个标识。
- JavaScript 渲染与 AI 爬虫哪些 AI 爬虫会执行 JavaScript，哪些只看 HTML。
- HTTP 状态码与爬虫状态码如何影响抓取和索引。
- 在服务器日志中验证 AI 爬虫流量在服务器日志里确认爬虫是真的、确实来过。
- AI 概览与 AI 模式的摘要控制nosnippet 等控制项对 AI 概览的作用。
- 结构化数据与 AI 搜索结构化数据对 AI 功能能做什么、不能做什么。
- XML Sitemap 与 IndexNow 对比通知搜索引擎新网址：Sitemap 与 IndexNow 对比。
- AI 智能体与你的网站会浏览并操作你网站的 AI 智能体。