Google-Extended
简明回答
Google-Extended 是 robots.txt 中的产品标识，没有独立的爬虫。它控制 Google 抓取的内容能否用于训练 Gemini 模型，以及 Gemini Apps 和 Vertex AI 的依据生成（grounding）。它不影响 Google 搜索的收录和排名，AI 概览和 AI 模式也属于搜索。
它不控制什么
Section titled “它不控制什么”AI 概览和 AI 模式属于 Google 搜索。要让网站不出现在其中，请使用 搜索生成式 AI 控制；要限制它们展示页面的哪些内容，请使用摘要控制指令（AI 概览与 AI 模式的摘要控制）。
Google 的爬虫文档将 Google-Extended 的范围列为 Gemini Apps 和 Vertex AI。Search Console 帮助文章则额外提到了搜索生成式 AI 功能背后的模型。两者都没有说 Google-Extended 会把内容从这些功能中移除。
没有独立的爬虫
Section titled “没有独立的爬虫”因此你不会在服务器日志里看到「Google-Extended」，也无法在防火墙上按 user agent 屏蔽它。
user-agent: Google-Extendeddisallow: /规则遵循常规的 robots.txt 语法，所以也可以按路径部分退出（allow / disallow）。
- 为 AI 爬虫配置 robots.txt：Google-Extended 与 GPTBot、OAI-SearchBot 等标识的对比。