Tester robots.txt
Preluați și validați robots.txt și testați dacă un URL este blocat pentru Googlebot sau boții AI.
Despre instrumentul Tester robots.txt
robots.txt este un fișier text din rădăcina site-ului (/robots.txt) care le spune crawlerelor ce părți pot vizita. O singură linie greșită – cum ar fi un Disallow: / rămas de la un site de test – poate opri motoarele de căutare să acceseze tot.
Acest tester preia fișierul publicat, validează fiecare linie și îți spune dacă o cale este permisă pentru crawlerul ales, arătând exact ce regulă s-a aplicat. Urmează standardul oficial robots.txt (RFC 9309) folosit de Google: câștigă regula cea mai specifică (cea mai lungă), iar la egalitate câștigă Allow. Arată și dintr-o privire ce crawlere AI – precum GPTBot, ClaudeBot și PerplexityBot – pot accesa calea.
Întrebări frecvente
Împiedică robots.txt indexarea unei pagini?
Nu. Împiedică accesarea, nu indexarea. Un URL blocat poate apărea totuși în rezultate dacă alte site-uri trimit linkuri spre el. Ca să ții o pagină în afara rezultatelor, permite accesarea și adaugă un meta tag noindex.
Ar trebui să blochez crawlerele AI?
Este alegerea ta. Blocarea boților de antrenare (precum GPTBot sau Google-Extended) nu afectează Căutarea Google. Blocarea boților de căutare (precum OAI-SearchBot sau PerplexityBot) poate împiedica apariția site-ului în acele rezultate de căutare AI.
Unde trebuie pus robots.txt?
În rădăcina fiecărui host și protocol: https://example.com/robots.txt. Subdomeniile precum blog.example.com au nevoie de propriul fișier.