JavaScript 渲染与 AI 爬虫

Googlebot

Google 分三个阶段处理 JavaScript 页面：抓取、渲染和索引。页面会进入渲染队列，「当 Google 的资源允许时，无头 Chromium 会渲染页面并执行 JavaScript」。页面可能在队列中停留几秒钟，也可能更久。

官方文档已说明 · Google Search Central

Google 仍然推荐服务端渲染或预渲染。理由是这会让网站对用户和爬虫都更快，「而且并非所有爬虫都能运行 JavaScript」。

官方文档已说明 · Google Search Central

AI 爬虫

观测于 2024-12，已超过 9 个月。AI 搜索平台变化频繁，引用前请重新测试。

在 2024 年 12 月发布的测试中，Vercel 和 MERJ 发现，他们检查的主要 AI 爬虫都不渲染 JavaScript。点名的包括：

OpenAI（OAI-SearchBot、ChatGPT-User、GPTBot）、Anthropic（ClaudeBot）、Meta（Meta-ExternalAgent）、字节跳动（Bytespider）和 Perplexity（PerplexityBot）。会渲染 JavaScript 的是 AppleBot，以及使用 Googlebot 基础设施的 Gemini。

实践观察 · 观测于 2024-12 · Vercel & MERJ

这是一项单一的行业研究，到上次审核时已近两年。爬虫行为可能在没有公告的情况下改变。上述公司也都没有在文档中说明其爬虫是否渲染 JavaScript。请把它当作目前最好的观察结果，不要当作规范。

对网站意味着什么

• 把主要内容、标题、描述、各级标题和链接放在服务器返回的 HTML 中。
• 对 Googlebot 以外的爬虫，不要依赖 JavaScript 注入结构化数据、canonical 标签或 noindex。
• 检查爬虫实际收到的内容。在不执行 JavaScript 的情况下获取页面（curl -A "OAI-SearchBot" …），再与用户看到的内容对比。

本站如何处理

每个页面在构建时预渲染为静态 HTML，搜索、筛选和主题切换都是在此之上的增强。每个条目还有 Markdown 版本（/路径.md），智能体无需 HTML 或 JavaScript 即可获得相同内容。