全站检测（爬虫）
抓取整个网站，找出失效页面、重复标题、缺失标签和内容单薄的页面。
关于全站检测（爬虫）
单页检查只能看出一个 URL 的问题。站点审核会像 Googlebot 一样抓取你的网站——从首页开始沿内部链接爬行——找出只有在大量页面中才会暴露的问题：重复的标题和描述、内部死链、重定向链、孤立的 noindex 页面、内容单薄的页面以及埋得过深的页面。
爬虫遵守 robots.txt，以有限并发友好地抓取，并检查每个页面的状态码、标题、描述、H1、字数、canonical、robots 指令和响应时间。结果按问题分组，可排序、筛选并导出为 CSV。
常见问题
我可以抓取多少页面？
免费方案每次最多抓取 100 个页面。页面从首页的内部链接向外发现，因此通常最重要的页面会最先被抓取。
抓取会拖慢我的网站吗？
不会。爬虫每次只请求少量页面，达到上限即停止，远比正常访客流量轻。
为什么有些页面没被找到？
爬虫只跟踪 HTML 中的标准链接。只能通过 JavaScript、表单或搜索框访问的页面，或被 robots.txt 屏蔽的页面，都不会被发现。