Robots.txt: o guia completo (com exemplos e crawlers de IA)

O robots.txt é um arquivo de texto simples na raiz do seu site que diz aos crawlers quais partes do site eles podem visitar. Ele é simples, poderoso e fácil de errar – uma única linha pode impedir que os buscadores rastreiem o site inteiro.

Este guia explica como ele funciona, como escrevê-lo com segurança e como lidar com o número crescente de crawlers de IA.

Onde fica o robots.txt

O arquivo precisa estar na raiz de cada host:

https://example.com/robots.txt

Ele só vale para aquele host e protocolo exatos. blog.example.com precisa do próprio arquivo, assim como http://, se servir conteúdo (o que deveria redirecionar para HTTPS de qualquer forma).

Se não houver robots.txt (o servidor retorna 404), os crawlers entendem que podem rastrear tudo.

A sintaxe básica

User-agent: *
Disallow: /admin/
Disallow: /cart
Allow: /admin/public-help/

Sitemap: https://example.com/sitemap.xml

• User-agent indica o crawler ao qual um grupo de regras se aplica. * significa todos os crawlers.
• Disallow indica um prefixo de caminho que o crawler não deve acessar.
• Allow cria uma exceção dentro de uma área bloqueada.
• Sitemap informa a URL completa de um sitemap XML. Pode aparecer em qualquer lugar do arquivo e vale para todos os crawlers.

Linhas que começam com # são comentários.

Curingas

O Google, o Bing e a maioria dos grandes crawlers aceitam dois caracteres especiais:

• * corresponde a qualquer sequência de caracteres: Disallow: /*?sort= bloqueia qualquer URL que contenha ?sort=
• $ marca o fim da URL: Disallow: /*.pdf$ bloqueia URLs que terminam em .pdf

Como as regras são aplicadas

O robots.txt hoje é um padrão oficial da internet (RFC 9309, publicado em 2022), baseado na forma como o Google sempre o tratou:

1. O crawler usa o grupo cujo User-agent corresponde a ele de forma mais específica. O Googlebot segue um grupo User-agent: Googlebot, se existir, e ignora o grupo *.
2. Dentro desse grupo, vence a regra correspondente mais específica (mais longa).
3. Se uma regra Allow e uma Disallow forem igualmente específicas, vence o Allow.

Exemplo:

User-agent: *
Disallow: /shop/
Allow: /shop/sale/

/shop/sale/shoes é permitido (a regra Allow é mais longa), enquanto /shop/new/shoes é bloqueado.

O que o robots.txt faz – e o que não faz

Ele controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados de busca se outras páginas linkarem para ela, normalmente sem descrição. Para manter uma página fora dos resultados, permita o rastreamento e use uma meta tag robots noindex ou o cabeçalho X-Robots-Tag.

Ele é público. Qualquer pessoa pode ler o seu robots.txt. Nunca o use para esconder áreas privadas – na prática, ele as anuncia. Proteja conteúdo privado com autenticação.

Ele é voluntário. Crawlers de boa reputação o respeitam; bots maliciosos o ignoram.

Exemplos seguros

Permitir tudo (e indicar o sitemap)

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

Loja virtual

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=
Disallow: /*?*filter=

Sitemap: https://example.com/sitemap.xml

Bloquear parâmetros de ordenação e filtro evita que os crawlers percam tempo com milhares de URLs quase duplicadas.

Site de homologação (bloquear tudo)

User-agent: *
Disallow: /

Use isso só em sites de homologação ou desenvolvimento – e, melhor ainda, proteja-os com senha. Esquecer de remover essa regra no lançamento é uma das causas mais comuns de um site desaparecer da busca.

Lidando com crawlers de IA

As empresas de IA operam vários tipos de crawlers, e vale a pena tratá-los de forma diferente:

O Google-Extended é um token de controle, não um crawler separado: bloqueá-lo impede que o conteúdo seja usado no treinamento dos modelos Gemini, mas não afeta a Pesquisa Google nem as Visões Gerais criadas por IA, que dependem do Googlebot.

Uma configuração intermediária comum bloqueia o treinamento e mantém a visibilidade na busca com IA:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Consulte a documentação dos fornecedores de tempos em tempos, porque os nomes e as finalidades dos crawlers mudam.

Erros comuns

1. Deixar o Disallow: / da homologação. Sempre confira o robots.txt depois de um lançamento ou migração.
2. Bloquear CSS e JavaScript. O Google precisa deles para renderizar as páginas; bloqueá-los pode fazer as páginas parecerem quebradas para o Googlebot.
3. Usar o robots.txt para tirar páginas do Google. Em páginas bloqueadas, o noindex não pode ser visto. Use noindex.
4. Bloquear páginas que têm uma canonical ou um redirecionamento que você quer que os buscadores vejam.
5. Erros de digitação e de maiúsculas/minúsculas. Os caminhos diferenciam maiúsculas de minúsculas: /Admin/ e /admin/ são diferentes.
6. Um arquivo enorme. O Google só lê os primeiros 500 KiB.
7. Servir o robots.txt com erros. Se o robots.txt retornar um erro 5xx, o Google pode parar temporariamente de rastrear o site.

Testando alterações

Antes de publicar um novo robots.txt, teste nele as suas URLs mais importantes – a página inicial, as principais categorias e páginas de produto e os seus arquivos CSS e JavaScript. O relatório de robots.txt do Search Console mostra a última versão que o Google buscou e os problemas que encontrou.

robots.txt vs. noindex vs. proteção por senha

Essas três ferramentas resolvem problemas diferentes, e confundi-las é uma fonte comum de problemas de indexação:

Lidando com parâmetros e navegação facetada

Sites de e-commerce e de anúncios costumam gerar URLs como estas para cada combinação de filtros:

/shoes?colour=red
/shoes?colour=red&size=8
/shoes?colour=red&size=8&sort=price

Se essas páginas não acrescentam valor único para quem pesquisa, bloqueie os parâmetros que criam combinações infinitas, como a ordenação:

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*sessionid=

Cuidado para não bloquear páginas de filtro que você quer posicionar – por exemplo, uma página de “tênis de corrida vermelho” com demanda real de pesquisa deve ser uma URL rastreável e indexável, com conteúdo próprio.

Lendo o robots.txt de qualquer site

Olhar os arquivos robots.txt dos concorrentes pode ser instrutivo. Você vê de quais seções eles mantêm os crawlers afastados, onde ficam os sitemaps e como lidam com os crawlers de IA. Como o arquivo é público, ele também é a primeira coisa a verificar quando um site que você gerencia perde visibilidade de repente.

Teste e monitoramento

Alterações no robots.txt têm alto risco, então trate-as como código:

1. Guarde uma cópia da versão anterior antes de editar
2. Teste as URLs importantes – página inicial, principais categorias e produtos, arquivos CSS e JavaScript – com as novas regras antes de publicar
3. Depois de publicar, confira se o arquivo retorna status 200 e texto simples, e não uma página de erro em HTML
4. Acompanhe o relatório de robots.txt e o relatório de Indexação de páginas do Search Console nos dias seguintes

Alguns sistemas de gerenciamento de conteúdo e plugins de SEO geram o robots.txt dinamicamente. Se você enviar um arquivo robots.txt físico, ele normalmente substitui o virtual – confira se está editando a versão que realmente é servida.

Principais conclusões

• O robots.txt controla o rastreamento, não a indexação – use noindex para manter páginas fora dos resultados de busca.
• Vence a regra correspondente mais específica, e o Allow ganha do Disallow em caso de empate.
• Nunca bloqueie arquivos CSS ou JavaScript de que as páginas precisam para renderizar.
• Separe os crawlers de treinamento de IA dos crawlers de busca com IA; bloquear o treinamento não afeta a busca.
• Sempre confira o robots.txt depois de lançamentos e migrações em busca de regras Disallow: / esquecidas.
• Teste as URLs importantes com qualquer alteração antes de publicá-la.

Perguntas frequentes

Preciso de um arquivo robots.txt?

Não obrigatoriamente. Sem ele, os crawlers acessam tudo. Mas o robots.txt é o lugar padrão para indicar o seu sitemap e manter os crawlers fora de áreas de pouco valor, então a maioria dos sites deveria ter um.

O Google aceita crawl-delay?

Não. O Googlebot ignora o Crawl-delay. O Bing e alguns outros crawlers o respeitam.

Quanto tempo as alterações levam para fazer efeito?

O Google geralmente guarda o robots.txt em cache por até 24 horas, então as alterações podem levar um dia para ser percebidas.

Posso bloquear uma página específica?

Pode – Disallow: /private-page –, mas lembre-se de que isso bloqueia o rastreamento, não a indexação. Use noindex se o objetivo for mantê-la fora dos resultados de busca.