你发布了一个页面,等了一段时间,搜索了一下,却哪里都找不到它。在担心排名之前,先确认基础问题:页面必须先被收录(编入索引),才可能出现在搜索结果中。
本指南按照值得检查的顺序,逐一介绍 Google 不收录页面最常见的原因。
首先:确认它是否已被收录
可靠的方法是使用 Google Search Console 的网址检查工具。粘贴 URL,它会告诉你页面是否在 Google 中、最近一次抓取的时间、Google 选择了哪个规范网址,以及它可能被排除的原因。
一种快速的粗略检查是 site: 搜索,例如 site:example.com/blog/my-post,不过结果并不总是完整的。
1. noindex 指令
noindex 标签明确告诉搜索引擎不要收录某个页面:
<meta name="robots" content="noindex">
它也可以作为 HTTP 标头(X-Robots-Tag: noindex)发送,这在页面源代码中是看不到的。常见原因:CMS 设置(例如 WordPress 的“建议搜索引擎不索引本站点”选项)、SEO 插件对某种文章类型的设置,或者测试环境的配置被带到了正式环境。
了解 Google 能否抓取并索引页面——如果不能,具体原因是什么。
2. 被 robots.txt 屏蔽
如果 robots.txt 禁止访问该 URL,Google 就无法抓取它。它偶尔仍可能根据链接收录这个光秃秃的 URL,但没有内容就不会获得排名。删除或缩小 Disallow 规则的范围。
3. 页面返回错误或重定向
只有返回 200 OK 的页面才会被收录。返回 404、410、5xx 错误或重定向的页面不会被收录。间歇性的服务器错误也可能导致页面掉出索引。
4. canonical 指向其他地方
如果页面的 canonical 标签指向另一个 URL,Google 通常会改为收录那个 URL。Search Console 会将其报告为“备用网页(有适当的规范标记)”。确保你希望被收录的页面使用自引用 canonical。
检查页面的规范网址、能否正常访问,以及是否与其他信号冲突。
5. 重复页面且没有选定的规范网址
“重复网页,用户未选定规范网页”或“重复网页,Google 选择的规范网页与用户指定的不同”表示 Google 把该页面视为另一个页面的副本。让内容与众不同、用重定向合并重复页面,或一致地设置 canonical。
6. 已发现 - 尚未编入索引
Google 知道这个 URL 存在,但还没有抓取它。这在新网站或大型网站上很常见,也可能表明 Google 不认为这些 URL 是优先事项。可以通过以下方式帮助它:
- 从重要且经常被抓取的页面添加内部链接
- 把该 URL 加入站点地图
- 提升服务器速度,让 Google 能抓取更多
- 减少争夺关注的低价值 URL 数量(筛选、参数、单薄页面)
7. 已抓取 - 尚未编入索引
Google 获取了页面,但决定不收录它,至少目前是这样。这通常是对质量或价值的判断。问问自己:
- 这个页面是否提供了你的网站或其他地方还没有的东西?
- 内容是否单薄、自动生成或大部分是复制的?
- 它是否与你网站上的其他页面近似重复?
常见的解决方法是改进和扩充内容、合并相似的页面,以及加强内部链接。反复请求编入索引并不能推翻质量判断。
8. 软 404
软 404 是指返回 200、但看起来像错误页或空白页的页面,例如显示“缺货,无相关信息”的产品页、空的分类页,或重定向到不相关页面的页面。要么添加有用的内容,要么返回真正的 404/410。
9. 内容依赖 JavaScript
如果主要内容只有在 JavaScript 运行后才出现,Google 必须先渲染页面才能看到它。渲染可能会被推迟,脚本错误甚至可能让内容完全不可见。检查重要内容是否存在于原始 HTML 中,或者使用服务端渲染。
查看页面中有多少内容在原始 HTML 中,有多少由 JavaScript 加载。
10. 孤立页面
没有任何其他页面链接到的页面,Google 很难找到,而且这也暗示它并不重要。从相关的页面和分类链接到它。
11. 网站是新的或权威性较低
外部链接很少的新网站被抓取的频率较低,Google 起初可能只收录其中一部分页面。专注于少量优质页面,赢得一些真实的链接和提及,收录范围通常会随时间扩大。
12. 人工处置措施或安全问题
在少数情况下,人工处置措施(针对垃圾内容)或安全问题(被黑内容、恶意软件)会导致页面被移除。查看 Search Console 中的人工处置措施和安全问题报告。
排查清单
- 在 Search Console 中检查该网址,阅读确切的状态
- 检查 HTML 和标头中是否有 noindex
- 用 robots.txt 测试该 URL
- 确认它返回 200 且没有重定向
- 检查 canonical 标签
- 确认内容在原始 HTML 中
- 确保页面有内部链接,并且在站点地图中
- 诚实地评估内容是否独特且有用
- 修复问题后,在网址检查中使用请求编入索引
应该等多久?
成熟网站上的新页面通常在几天内就会被收录。新网站可能需要几周。如果一个页面通过了所有技术检查,几周后仍未被收录,问题通常在于发现(内部链接不够)或被认为价值不足。
大规模诊断收录问题
当许多页面没有被收录时,要寻找规律,而不是逐个检查 URL:
- 打开 Search Console 的网页索引编制报告,记下“网页为何未编入索引”中数量最多的几类原因。
- 点击每个原因,查看示例 URL。它们是否都来自同一个栏目、模板或 URL 模式?
- 按站点地图进行筛选,专注于你真正希望被收录的 URL。
- 抓取受影响的栏目,同时检查状态码、canonical、noindex 标签和字数。
常见的规律:
- 所有博客文章都被 noindex 排除 → 模板或插件设置问题
- 数千个带参数的 URL 被视为重复 → 分面导航缺少 canonical 或抓取控制
- 大多数产品页已抓取但未收录 → 在许多网站上重复使用的、由厂商提供的单薄描述
- 新页面一直停留在“已发现 - 尚未编入索引” → 内部链接薄弱或服务器缓慢
改进已抓取但未收录的页面
当 Google 已经看过某个页面并决定不收录时,仅靠技术修复是没有用的。要问问什么能让这个页面真正值得被收录:
- 增加独特价值:其他页面没有的原创信息、具体细节、示例、图片或数据
- 合并:如果几个单薄的页面讲的是相似的内容,把它们合并成一个全面的页面,并把其余页面重定向过去
- 删除:如果某个页面对搜索者没有实际价值(只有一篇文章的标签页、空的分类页),给它设置 noindex 或删除它
- 加强信号:从相关的重要页面链接到它,让它的重要性一目了然
改进页面后,请求编入索引,并给它几周时间。
新网站的收录
全新的网站起初通常只有部分页面被收录。可以通过以下方式加快速度:
- 在 Search Console 和 Bing Webmaster Tools 中验证网站并提交站点地图(面向中国大陆用户时,还应使用百度搜索资源平台)
- 上线时只发布少量优质、完整的页面,而不是数百个单薄的页面
- 确保每个页面都能从首页或分类页链接到
- 赢得一些真实的链接:在相关目录、合作伙伴网站、本地媒体或行业协会上的展示
- 持续发布内容,让爬虫知道网站会定期更新
不用 Search Console 检查收录情况
如果你无法访问 Search Console(例如在分析竞争对手时),对确切 URL 进行 site: 搜索可以提供大致的判断,而可收录性检查可以确认是否有技术问题阻止收录。对于你自己的网站,Search Console 仍然是唯一权威的来源。
要点总结
- 使用 Search Console 的网址检查工具,查看页面未被收录的确切原因。
- 先检查技术障碍:noindex、robots.txt、状态码和 canonical 标签。
- 确保重要内容在原始 HTML 中,并且页面有内部链接。
- “已抓取 - 尚未编入索引”通常与价值有关:改进、合并或删除单薄的页面。
- 在大量 URL 中寻找规律;大多数收录问题来自模板和设置。
- 修复问题后请求编入索引,然后给 Google 时间重新抓取。
常见问题
“请求编入索引”能保证收录吗?
不能。它只是请 Google 更早地抓取页面。是否收录仍由 Google 决定。
为什么已收录的页面掉出了索引?
常见原因包括新出现的 noindex 或 canonical 问题、服务器错误、重复内容被合并,或者 Google 在核心更新后重新评估了单薄页面的质量。
有些页面没有被收录正常吗?
正常。每个网站都有 Google 选择不收录的页面,比如重复页面和低价值的 URL。重要的是你的重要页面被收录了。
提交站点地图能解决收录问题吗?
站点地图有助于页面被发现,但它无法克服 noindex 标签、屏蔽、canonical 问题或低质量。
检测你自己的网站
免费运行 55+ 项检查,每个问题都有修复方法。