爬虫文档变更记录
简明回答
本页记录 Google、OpenAI 和 IETF 官方爬虫文档的变更，由本站每周的来源检查发现。每条都说明我们引用的内容是实质改变了，还是只换了位置。
本记录收录本站条目所引用的爬虫文档的变更。变更由每周运行的 npm run check:sources 发现。每条在记录前都会重新阅读原文，以区分「页面换了位置」和「政策发生了变化」。
变更记录
日期是我们观察并核实到变更的日期，不一定是平台实际做出变更的日期。
Google 的抓取预算和 HTTP 状态码指南迁到抓取文档站
实践观察抓取预算指南（原 search/docs/crawling-indexing/large-site-managing-crawl-budget）和 HTTP 状态码指南（原 search/docs/crawling-indexing/http-network-errors）现在位于 developers.google.com/crawling/docs/ 下，旧地址会重定向。已重新核对本站引用的事实，例如 100 万以上和 1 万以上页面的门槛，以及 4xx/5xx 的处理方式。
Google: Crawl budget management · Google: How HTTP status codes affect Google's crawlers
Google 爬虫验证指南迁到抓取文档站
实践观察「验证 Googlebot 及其他 Google 爬虫」从 developers.google.com/search/docs/crawling-indexing/verifying-googlebot 迁到 developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests，旧地址会重定向。已重新核对：验证方法仍是先做反向 DNS 查询（googlebot.com、google.com 或 googleusercontent.com），再做正向查询，或对照 Google 公布的 IP 列表；IP 列表现在按爬虫类别拆成了多个 JSON 文件。
Google 的 robots.txt 规范迁到抓取文档站
实践观察「Google 如何解读 robots.txt 规范」从 developers.google.com/search/docs/… 迁到 developers.google.com/crawling/docs/robots-txt/robots-txt-spec，旧地址现在返回 404，不会重定向。已重新核对：500 KiB 的大小限制、冲突时采用限制最少的规则、不支持 crawl-delay，以及最多缓存 24 小时，均未改变。
OpenAI 爬虫说明迁到 developers.openai.com
实践观察OpenAI 爬虫概览从 platform.openai.com/docs/bots 迁到 developers.openai.com/api/docs/bots，旧地址会重定向。已重新核对：OAI-SearchBot 和 GPTBot 仍是相互独立的设置，robots.txt 修改后大约 24 小时在搜索中生效。
RFC 9309 短链接现在指向元数据页
实践观察rfc-editor.org/rfc/rfc9309 现在重定向到信息页，而不是正文。规范本身没有变化；本站现在直接链接 HTML 正文。
Google 爬虫列表位于抓取文档站
实践观察Google 常规爬虫列表（包括 Google-Extended 标识）现在位于 developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers；原 Search Central 路径会重定向到这里。