HTTP 状态码与爬虫
简明回答
2xx 不保证被索引；301 是强重定向信号，302 是弱信号。4xx（429 除外）的 URL 不会被索引。5xx 和 429 让抓取放慢，已索引 URL 最终也会被移除。不要用 401 或 403 限速。
| 状态码 | Google 爬虫的处理 |
|---|---|
| 2xx | 内容进入索引候选，但不保证被索引 |
| 301 | 跟随；强信号，表示应处理目标 |
| 302 | 跟随；弱信号 |
| 4xx（429 除外） | 不索引；已索引的 URL 被移除；抓取放慢 |
| 429、5xx | 抓取放慢；已索引的 URL 保留一段时间，最终被移除 |
429 和 5xx
Section titled “429 和 5xx”对 AI 搜索的意义
Section titled “对 AI 搜索的意义”Google 的 AI 功能使用同一个索引（Google 搜索的工作原理）。因 4xx 或长时间 5xx 而失败的页面，会和传统结果一起从 AI 概览中消失。机器人防护层用 403 或 429 回应爬虫，效果与服务器错误相同，见 AI 搜索可访问性检查。