Gerador de robots.txt
Crie um arquivo robots.txt com sitemap, pastas bloqueadas e controle de rastreadores de IA.
Sobre a ferramenta Gerador de robots.txt
O robots.txt diz aos rastreadores quais partes do seu site eles podem visitar. É o lugar certo para manter robôs longe de áreas administrativas, resultados de busca interna, carrinhos e combinações infinitas de filtros – e para indicar o sitemap XML a todos os rastreadores.
Este gerador monta um arquivo limpo e válido a partir de poucas escolhas, com predefinições para plataformas comuns e controles separados para rastreadores de treinamento de IA (que coletam conteúdo para treinar modelos) e rastreadores de busca com IA (que buscam páginas para responder e citar em resultados de IA). Você pode bloquear o treinamento e continuar aparecendo na busca com IA. Envie o resultado para a raiz do domínio como /robots.txt.
Perguntas frequentes
O robots.txt pode esconder páginas privadas?
Não. O arquivo é público e os robôs bem-comportados apenas escolhem obedecê-lo. Proteja conteúdo privado com senha ou noindex, não com robots.txt.
Bloquear robôs de treinamento de IA afeta o ranqueamento no Google?
Não. O Google-Extended controla apenas se o conteúdo é usado para treinar o Gemini; o Googlebot e a Pesquisa Google não são afetados.
Devo bloquear CSS e JavaScript?
Não. O Google precisa deles para renderizar as páginas corretamente. Bloqueá-los pode prejudicar o entendimento das suas páginas.