搜索引擎如何工作：抓取、收录与排名详解

每次你搜索时，搜索引擎都会在不到一秒的时间里，从数千亿个页面中挑出少数几个并排好顺序。它之所以做得到，是因为大部分工作早在你输入任何内容之前就已经完成了。

这些工作分为四个阶段：抓取、渲染、收录（索引）和排名。理解它们是 SEO 的基础，因为每个阶段都可能让你的页面成功，也可能让它悄无声息地失败。

第 1 阶段：抓取——发现页面

搜索引擎使用被称为爬虫的自动程序（Google 的是 Googlebot，微软的是 Bingbot，百度的是 Baiduspider）来获取网页。爬虫主要通过三种方式发现新的 URL：

• 跟踪链接：从已知页面上的链接出发
• 读取 XML 站点地图：网站所有者提交的站点地图
• 提交 URL：例如通过 Google Search Console，或通过 Bing 等支持的 IndexNow 协议

爬虫并不会每天访问每一个页面。它们会根据网站看起来有多重要、更新有多频繁以及服务器响应有多快，来决定多久重新访问一次。超大型网站需要考虑抓取预算，即搜索引擎在一定时间内愿意并能够抓取的 URL 数量；但对于大多数只有几千个页面的网站来说，抓取预算并不是问题。

什么会阻止抓取

• 禁止访问某个栏目或整个网站的 robots.txt 规则
• 让爬虫放慢速度的服务器错误（5xx）和超时
• 没有任何页面链接到的孤立页面
• 不是真正链接的链接，比如只用 JavaScript 点击事件实现的导航

第 2 阶段：渲染——像浏览器一样查看页面

许多现代页面是用 JavaScript 构建的。服务器发送的 HTML 可能几乎是空的，内容在浏览器中才被添加进来。为了看到这些内容，Google 会用无头版本的 Chrome，也就是 Web Rendering Service（网页渲染服务） 来运行页面。

渲染需要额外的资源，因此可能晚于首次抓取进行。所以，只有在 JavaScript 运行后才出现的内容可能被收录得更慢，脚本中的错误甚至可能让内容完全不可见。大多数 AI 爬虫和许多其他机器人根本不运行 JavaScript。

最稳妥的做法是在初始 HTML 中包含主要内容、链接、标题、meta description 和 canonical 标签，而服务端渲染和静态生成正好可以做到这一点。

第 3 阶段：收录——理解并存储页面

在获取（必要时还要渲染）页面之后，搜索引擎会分析它：文字、标题、图片、链接、结构化数据和元数据。它会判断页面讲的是什么、使用哪种语言、与哪些其他页面重复，以及是否值得保留。

收录是有选择性的。Google 不会收录它抓取的每一个页面。页面可能因以下原因未被收录：

• 通过 noindex 指令要求不被收录
• 与另一个页面重复，此时 Google 会选择一个**规范（canonical）**版本来收录
• 价值很低，比如几乎是空的页面或自动生成的内容
• 返回错误或重定向

你可以在 Google Search Console 的**“网页索引编制”**报告中看到哪些页面已被收录，以及其他页面为什么没有被收录。

规范化

同样的内容常常可以通过多个 URL 访问：带 www 和不带 www、带跟踪参数、不同的排序方式。搜索引擎会把这些重复页面归为一组，并选择一个规范 URL 显示在结果中。你可以通过重定向、rel="canonical" 标签、一致的内部链接和站点地图来影响这一选择。

第 4 阶段：排名——选择结果并排序

当有人搜索时，搜索引擎会在索引中查找匹配的页面，并使用众多信号对其排序。Google 描述过它考虑的主要因素：

• 查询的含义：搜索者真正想问什么，包括拼写纠正、同义词和意图
• 相关性：页面内容与该含义的匹配程度
• 质量：内容有帮助、可靠，并体现专业性、经验、权威性和可信度的迹象
• 可用性：适配移动设备、HTTPS 和 Core Web Vitals 等页面体验因素
• 情境：搜索者的位置、语言和设置

来自其他网站的链接仍然是重要的权威信号，并帮助搜索引擎发现和理解页面。没有任何单一因素能决定排名；相关性和有用性才是第一位的。

搜索结果不只是十条蓝色链接

如今的结果页面包含精选摘要、图片和视频结果、本地地图包、“其他用户还问了以下问题”、购物结果以及 AI 生成的摘要。它们各自以略有不同的方式从索引中提取内容。结构化数据可以让页面有资格获得某些富媒体搜索结果，而清晰、结构良好的内容更有可能被摘要和 AI 答案引用。

AI 搜索处于什么位置

Google 的 AI 摘要和 AI 模式、ChatGPT 搜索和 Perplexity 等 AI 搜索体验，仍然依赖于查找和阅读网页。Google 的 AI 功能使用的是其常规搜索索引，所以基本原则是一样的：页面必须可以被抓取、可以被收录，并且允许显示摘要，才会被使用。其他 AI 搜索引擎运行着自己的爬虫，例如 OAI-SearchBot 和 PerplexityBot，你可以在 robots.txt 中允许或屏蔽它们。

你在每个阶段能掌控什么

快速健康检查

1. 在 Google 中搜索 site:yourdomain.com，大致了解有多少页面被收录（这个数字只是估计）。
2. 打开 Search Console 的“网页索引编制”报告，查看页面未被收录的原因。
3. 对最重要的页面进行一次审计，找出抓取、收录和页面层面的问题。

抓取预算：什么时候重要，如何管理

对于大多数网站，Google 无需任何帮助就能抓取所有重要内容。只有在拥有数万甚至更多 URL 的网站上（大型网店、交易平台、分类信息和新闻网站），或在服务器缓慢的网站上，抓取预算才会成为真正的问题。

决定搜索引擎抓取多少内容的有两个因素：

• 抓取容量：你的服务器能在不变慢的情况下处理多少请求。如果响应变慢或返回错误，Googlebot 就会减少抓取。
• 抓取需求：Google 想要抓取多少，取决于你的页面有多受欢迎、更新有多频繁。

网站浪费抓取预算最常见的方式，是生成大量低价值的 URL：为每种筛选组合都创建一个 URL 的分面导航、URL 中的会话 ID、无穷无尽的日历页面、站内搜索结果，以及没有分页 URL 的无限滚动。每一种都可能产生数以千计的近似重复页面，而爬虫会一一去抓取。

要让抓取保持聚焦：

1. 当排序和筛选参数没有独特价值时，在 robots.txt 中屏蔽这些抓取陷阱
2. 不要链接到你不希望被抓取的 URL
3. 站点地图只包含规范的、可收录的 URL
4. 修复浪费请求的重定向链和失效链接
5. 改善服务器响应时间：更快的网站可以被抓取更多

日志文件能告诉你什么

服务器日志文件记录了对网站的每一次请求，包括来自搜索引擎爬虫的请求。分析日志可以看出 Googlebot 实际访问了哪些页面、多久访问一次，以及收到了哪些状态码。日志分析是唯一能看到真实抓取情况（而不是工具估算）的方法。在 cPanel 主机上，原始访问日志通常位于“Raw Access”或“Metrics”中。要核实自称是 Googlebot 的请求是否真的来自 Google，因为机器人经常伪造用户代理；Google 公布了其爬虫使用的 IP 地址范围。

移动设备优先索引

Google 现在主要使用页面的移动版本进行抓取和收录。Googlebot 智能手机版是主要的爬虫。如果你的移动版网站与桌面版相比内容更少、链接更少、结构化数据不同或缺少图片，Google 可能永远看不到缺失的部分。响应式设计（所有设备使用相同的 HTML，通过 CSS 适配）可以彻底避免这个问题。

实例演示

假设一个新的美食博客发布了一篇关于酸面包的文章。接下来会发生这些事：

1. Googlebot 经常访问的博客首页现在链接到了这篇新文章。站点地图也列出了它，并带有新的 lastmod 日期。
2. Googlebot 发现了这个 URL，并把它加入抓取队列。因为博客是新的，这可能需要一两天。
3. Googlebot 获取该页面。食谱内容就在 HTML 中，所以不会有渲染延迟。
4. Google 收录该页面，记下它的 Recipe 结构化数据、配料和作者，并识别出这是一篇关于酸面包的中文食谱。
5. 当有人搜索“新手 简单 酸面包 做法”时，Google 会将这篇文章与成千上万的其他文章进行比较，并根据相关性、质量信号、网站声誉和搜索者的情境为其排名。

每一步都有改进的空间：用内部链接加快发现，用服务端渲染的内容加快收录，用结构化数据加深理解，用真正有帮助的内容提升排名。

要点总结

• 搜索引擎分四个阶段工作：抓取、渲染、收录和排名，页面可能在任何一个阶段失败。
• 爬虫通过链接、站点地图和提交来发现页面，robots.txt 控制它们可以访问哪里。
• 需要 JavaScript 才能显示的内容，被 Google 收录得更慢，而且对大多数 AI 爬虫不可见。
• 收录是有选择性的：重复页面会被合并到一个规范 URL，低价值页面可能不被收录。
• 排名会权衡相关性、质量、可用性和情境；链接仍然是重要的权威信号。
• AI 搜索功能依赖同样的基础：页面必须可抓取、可收录，并允许显示摘要。

常见问题

Google 收录一个新页面需要多长时间？

从几小时到几周不等。从重要页面链接到它、把它加入站点地图，以及在 Search Console 中请求编入索引，都能帮助它更快被发现。

提交站点地图就能保证收录吗？

不能。站点地图帮助搜索引擎发现 URL，但它们仍会自行判断每个页面是否值得收录。

为什么 Google 收录的 URL 和我想要的不一样？

Google 会根据重定向、canonical 标签、内部链接和站点地图等信号，从一组重复页面中选出规范版本。让所有这些信号一致地指向你的首选 URL。

我需要向搜索引擎提交网站吗？

严格来说不需要，搜索引擎通过链接就能找到大多数网站。但在 Google Search Console 和 Bing Webmaster Tools 中验证网站并提交站点地图，可以让网站更快被发现，并获得宝贵的诊断数据。