Generatore di robots.txt
Crea un file robots.txt con sitemap, cartelle bloccate e controllo dei crawler IA.
Informazioni sullo strumento Generatore di robots.txt
Un file robots.txt indica ai crawler quali parti del sito possono visitare. È il posto giusto per tenere i bot lontani da aree di amministrazione, risultati di ricerca interni, carrelli e combinazioni infinite di filtri, e per indicare a tutti i crawler la sitemap XML.
Questo generatore crea un file pulito e valido con poche scelte, con preset per le piattaforme più comuni e controlli separati per i crawler di addestramento IA (che raccolgono contenuti per addestrare i modelli) e i crawler di ricerca IA (che recuperano pagine per rispondere e citarle nei risultati IA). Puoi bloccare l’addestramento continuando a comparire nella ricerca IA. Carica il risultato nella radice del dominio come /robots.txt.
Domande frequenti
robots.txt può nascondere pagine private?
No. Il file è pubblico e i bot educati scelgono semplicemente di rispettarlo. Proteggi i contenuti privati con password o noindex, non con robots.txt.
Bloccare i bot di addestramento IA influisce sul posizionamento Google?
No. Google-Extended controlla solo se i contenuti vengono usati per addestrare Gemini; Googlebot e la Ricerca Google non sono coinvolti.
Devo bloccare CSS e JavaScript?
No. Google ne ha bisogno per visualizzare correttamente le pagine. Bloccarli può danneggiare il modo in cui vengono comprese.