Генератор robots.txt
Создайте robots.txt с sitemap, закрытыми папками и управлением ИИ-краулерами.
Об инструменте «Генератор robots.txt»
Файл robots.txt сообщает роботам, какие разделы сайта им можно посещать. Это правильное место, чтобы не пускать ботов в админку, внутренний поиск, корзины и бесконечные комбинации фильтров, а также указать всем роботам XML-карту сайта.
Генератор создаёт чистый и корректный файл по нескольким параметрам – с пресетами для популярных платформ и отдельными настройками для ИИ-роботов обучения (собирающих контент для обучения моделей) и ИИ-роботов поиска (загружающих страницы, чтобы отвечать и цитировать их в результатах ИИ-поиска). Можно запретить обучение и при этом оставаться в ИИ-поиске. Загрузите результат в корень домена как /robots.txt.
Частые вопросы
Может ли robots.txt скрыть приватные страницы?
Нет. Файл общедоступен, а добросовестные боты лишь добровольно ему следуют. Защищайте приватный контент паролем или noindex, а не robots.txt.
Повлияет ли блокировка ИИ-ботов обучения на позиции в Google?
Нет. Google-Extended управляет только использованием контента для обучения Gemini; Googlebot и поиск Google не затрагиваются.
Нужно ли закрывать CSS и JavaScript?
Нет. Google нужны эти файлы для правильной отрисовки страниц. Их блокировка может ухудшить понимание ваших страниц.