Tester di robots.txt
Recupera e valida il robots.txt e verifica se un URL è bloccato per Googlebot o per i bot IA.
Informazioni sullo strumento Tester di robots.txt
robots.txt è un file di testo nella radice del sito (/robots.txt) che indica ai crawler quali parti possono visitare. Una sola riga sbagliata – come un Disallow: / dimenticato dall’ambiente di staging – può impedire ai motori di ricerca di scansionare tutto.
Questo tester recupera il file pubblicato, valida ogni riga e ti dice se un percorso è consentito per il crawler scelto, mostrando esattamente quale regola è stata applicata. Segue lo standard ufficiale robots.txt (RFC 9309) usato da Google: vince la regola più specifica (la più lunga) e, a parità, vince Allow. Mostra anche a colpo d’occhio quali crawler IA – come GPTBot, ClaudeBot e PerplexityBot – possono accedere al percorso.
Domande frequenti
robots.txt impedisce l’indicizzazione di una pagina?
No. Impedisce la scansione, non l’indicizzazione. Un URL bloccato può comunque comparire nei risultati se altri siti vi rimandano. Per escludere una pagina dai risultati, consenti la scansione e aggiungi un meta tag noindex.
Devo bloccare i crawler IA?
Decidi tu. Bloccare i bot di addestramento (come GPTBot o Google-Extended) non incide sulla Ricerca Google. Bloccare i bot di ricerca (come OAI-SearchBot o PerplexityBot) può impedire al tuo sito di comparire in quei risultati di ricerca IA.
Dove va messo robots.txt?
Nella radice di ogni host e protocollo: https://example.com/robots.txt. I sottodomini come blog.example.com hanno bisogno di un file proprio.