robots.txt 生成器
生成包含站点地图、禁止目录和 AI 爬虫控制的 robots.txt 文件。
关于robots.txt 生成器
robots.txt 文件告诉爬虫可以访问网站的哪些部分。它适合用来阻止机器人进入后台、站内搜索结果、购物车和无穷无尽的筛选组合——并向所有爬虫指明你的 XML 站点地图。
本生成器只需几项选择就能生成干净有效的文件，提供常见平台的预设，并分别控制 AI 训练爬虫（为训练模型收集内容）和 AI 搜索爬虫（抓取页面以便在 AI 搜索结果中回答和引用）。你可以屏蔽训练，同时继续出现在 AI 搜索中。把结果以 /robots.txt 上传到域名根目录。
常见问题
robots.txt 能隐藏私密页面吗？
不能。该文件是公开的，守规矩的机器人只是选择遵守它。请用密码或 noindex 保护私密内容，而不是 robots.txt。
屏蔽 AI 训练爬虫会影响 Google 排名吗？
不会。Google-Extended 只控制内容是否用于训练 Gemini；Googlebot 和 Google 搜索不受影响。
我应该屏蔽 CSS 和 JavaScript 吗？
不应该。Google 需要它们来正确渲染页面。屏蔽它们会影响 Google 对你页面的理解。