Generator robots.txt
Creați un fișier robots.txt cu sitemap, foldere blocate și control pentru crawlerele AI.
Despre instrumentul Generator robots.txt
Un fișier robots.txt le spune crawlerelor ce părți ale site-ului pot vizita. Este locul potrivit pentru a ține boții departe de zonele de administrare, rezultatele căutării interne, coșurile de cumpărături și combinațiile nesfârșite de filtre – și pentru a le indica tuturor crawlerelor sitemap-ul XML.
Acest generator creează un fișier curat și valid din câteva alegeri, cu presetări pentru platforme comune și controale separate pentru crawlerele de antrenare AI (care colectează conținut pentru antrenarea modelelor) și crawlerele de căutare AI (care preiau pagini pentru a răspunde și a le cita în rezultatele de căutare AI). Poți bloca antrenarea și totuși să apari în căutarea AI. Încarcă rezultatul în rădăcina domeniului ca /robots.txt.
Întrebări frecvente
Poate robots.txt să ascundă paginile private?
Nu. Fișierul este public, iar boții care respectă regulile doar aleg să-l urmeze. Protejează conținutul privat cu parole sau noindex, nu cu robots.txt.
Afectează blocarea boților de antrenare AI clasarea în Google?
Nu. Google-Extended controlează doar dacă conținutul este folosit pentru antrenarea Gemini; Googlebot și Căutarea Google nu sunt afectate.
Ar trebui să blochez CSS și JavaScript?
Nu. Google are nevoie de ele ca să randeze corect paginile. Blocarea lor poate afecta felul în care sunt înțelese paginile.