Testador de robots.txt
Busque e valide o robots.txt e teste se alguma URL está bloqueada para o Googlebot ou bots de IA.
Sobre a ferramenta Testador de robots.txt
robots.txt é um arquivo de texto na raiz do site (/robots.txt) que diz aos rastreadores quais partes eles podem visitar. Uma única linha errada – como um Disallow: / esquecido do ambiente de homologação – pode impedir os buscadores de rastrear tudo.
Este testador busca o arquivo publicado, valida cada linha e diz se um caminho está liberado para o rastreador escolhido, mostrando exatamente qual regra se aplicou. Ele segue o padrão oficial do robots.txt (RFC 9309) usado pelo Google: vence a regra mais específica (mais longa), e Allow vence em caso de empate. Também mostra de relance quais rastreadores de IA – como GPTBot, ClaudeBot e PerplexityBot – podem acessar o caminho.
Perguntas frequentes
O robots.txt impede que uma página seja indexada?
Não. Ele impede o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados se outros sites linkarem para ela. Para tirar uma página dos resultados, libere o rastreamento e adicione uma meta tag noindex.
Devo bloquear rastreadores de IA?
A escolha é sua. Bloquear robôs de treinamento (como GPTBot ou Google-Extended) não afeta a Pesquisa Google. Bloquear robôs de busca (como OAI-SearchBot ou PerplexityBot) pode impedir que seu site apareça nesses resultados de busca com IA.
Onde o robots.txt deve ficar?
Na raiz de cada host e protocolo: https://example.com/robots.txt. Subdomínios como blog.example.com precisam de arquivo próprio.