Проверка robots.txt
Загрузите и проверьте robots.txt, а также узнайте, закрыт ли URL для Googlebot или ИИ-ботов.
Об инструменте «Проверка robots.txt»
robots.txt – текстовый файл в корне сайта (/robots.txt), который сообщает роботам, какие разделы им можно посещать. Одна ошибочная строка – например, Disallow: /, оставшийся от тестовой версии, – может запретить поисковикам сканировать весь сайт.
Тестер загружает актуальный файл, проверяет каждую строку и сообщает, разрешён ли путь для выбранного робота, показывая, какое именно правило сработало. Он следует официальному стандарту robots.txt (RFC 9309), который использует Google: побеждает самое конкретное (самое длинное) правило, а при равенстве побеждает Allow. Также сразу видно, какие ИИ-роботы – например GPTBot, ClaudeBot и PerplexityBot – имеют доступ к пути.
Частые вопросы
Запрещает ли robots.txt индексацию страницы?
Нет. Он запрещает сканирование, а не индексацию. Заблокированный URL может попасть в выдачу, если на него ссылаются другие сайты. Чтобы убрать страницу из выдачи, разрешите сканирование и добавьте метатег noindex.
Стоит ли блокировать ИИ-роботов?
Решать вам. Блокировка обучающих роботов (например, GPTBot или Google-Extended) не влияет на поиск Google. Блокировка поисковых роботов (например, OAI-SearchBot или PerplexityBot) может убрать ваш сайт из этих результатов ИИ-поиска.
Где должен лежать robots.txt?
В корне каждого хоста и протокола: https://example.com/robots.txt. Поддоменам вроде blog.example.com нужен свой файл.