Robots.txt: ghidul complet (cu exemple și crawlere AI)

robots.txt este un fișier text simplu aflat în rădăcina site-ului, care le spune crawlerelor ce părți ale site-ului au voie să viziteze. Este simplu, puternic și ușor de greșit – o singură linie poate opri motoarele de căutare să-ți acceseze întregul site.

Ghidul acesta explică cum funcționează, cum îl scrii în siguranță și cum gestionezi numărul tot mai mare de crawlere AI.

Unde se află robots.txt

Fișierul trebuie să fie în rădăcina fiecărei gazde:

https://example.com/robots.txt

Se aplică doar acelei gazde și acelui protocol exact. blog.example.com are nevoie de propriul fișier, la fel și http://, dacă livrează conținut (oricum ar trebui să redirecționeze spre HTTPS).

Dacă nu există robots.txt (serverul returnează 404), crawlerele presupun că pot accesa totul.

Sintaxa de bază

User-agent: *
Disallow: /admin/
Disallow: /cart
Allow: /admin/public-help/

Sitemap: https://example.com/sitemap.xml

• User-agent numește crawlerul căruia i se aplică un grup de reguli. * înseamnă toate crawlerele.
• Disallow indică un prefix de cale pe care crawlerul nu ar trebui să-l preia.
• Allow creează o excepție într-o zonă interzisă.
• Sitemap dă URL-ul complet al unui sitemap XML. Poate apărea oriunde în fișier și se aplică tuturor crawlerelor.

Liniile care încep cu # sunt comentarii.

Metacaractere

Google, Bing și majoritatea crawlerelor mari acceptă două caractere speciale:

• * se potrivește cu orice secvență de caractere: Disallow: /*?sort= blochează orice URL care conține ?sort=
• $ marchează sfârșitul URL-ului: Disallow: /*.pdf$ blochează URL-urile care se termină în .pdf

Cum se aplică regulile

robots.txt este acum un standard oficial de internet (RFC 9309, publicat în 2022), bazat pe felul în care Google l-a tratat de mult timp:

1. Un crawler folosește grupul al cărui User-agent i se potrivește cel mai specific. Googlebot urmează un grup User-agent: Googlebot, dacă există, și ignoră grupul *.
2. În acel grup, câștigă regula potrivită cea mai specifică (cea mai lungă).
3. Dacă o regulă Allow și una Disallow sunt la fel de specifice, câștigă Allow.

Exemplu:

User-agent: *
Disallow: /shop/
Allow: /shop/sale/

/shop/sale/shoes este permis (regula Allow este mai lungă), în timp ce /shop/new/shoes este blocat.

Ce face robots.txt – și ce nu face

Controlează crawlingul, nu indexarea. Un URL interzis poate apărea totuși în rezultatele căutării dacă alte pagini au linkuri către el, de obicei fără descriere. Ca să ții o pagină în afara rezultatelor, permite crawlingul și folosește în schimb o metaetichetă robots noindex sau un antet X-Robots-Tag.

Este public. Oricine îți poate citi robots.txt. Nu-l folosi niciodată ca să ascunzi zone private – practic le face reclamă. Protejează conținutul privat cu autentificare.

Este voluntar. Crawlerele de bună-credință îl respectă; boții rău intenționați îl ignoră.

Exemple sigure

Permite totul (și indică sitemapul)

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

Magazin online

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=
Disallow: /*?*filter=

Sitemap: https://example.com/sitemap.xml

Blocarea parametrilor de sortare și filtrare împiedică crawlerele să piardă timp cu mii de URL-uri aproape duplicate.

Site de test (blochează totul)

User-agent: *
Disallow: /

Folosește asta doar pe site-urile de test sau de dezvoltare – și, mai bine, protejează-le cu parolă. Uitarea acestei reguli la lansare este una dintre cele mai frecvente cauze pentru care un site dispare din căutări.

Gestionarea crawlerelor AI

Companiile de AI rulează mai multe tipuri de crawlere și merită să le tratezi diferit:

Google-Extended este un token de control, nu un crawler separat: blocarea lui oprește folosirea conținutului pentru antrenarea modelelor Gemini, dar nu afectează Google Search sau AI Overviews, care se bazează pe Googlebot.

O configurație de compromis frecventă blochează antrenarea, dar rămâne vizibilă în căutarea AI:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Verifică periodic documentația furnizorilor, pentru că numele și scopurile crawlerelor se schimbă.

Greșeli frecvente

1. Lăsarea Disallow: / de pe site-ul de test. Verifică întotdeauna robots.txt după o lansare sau o migrare.
2. Blocarea CSS și JavaScript. Google are nevoie de ele ca să redea paginile; blocarea lor poate face paginile să pară stricate pentru Googlebot.
3. Folosirea robots.txt pentru a scoate pagini din Google. Pentru paginile blocate nu se poate vedea că sunt marcate noindex. Folosește noindex în schimb.
4. Blocarea paginilor care au un canonical sau o redirecționare pe care vrei să le vadă motoarele de căutare.
5. Greșeli de scriere și majuscule greșite. Căile fac diferența între majuscule și minuscule: /Admin/ și /admin/ sunt diferite.
6. Un fișier uriaș. Google citește doar primii 500 KiB.
7. Servirea robots.txt cu erori. Dacă robots.txt returnează o eroare 5xx, Google poate opri temporar accesarea site-ului.

Testarea modificărilor

Înainte să publici un robots.txt nou, testează-ți cele mai importante URL-uri față de el – pagina principală, categoriile și paginile de produs cheie, precum și fișierele CSS și JavaScript. Raportul robots.txt din Search Console arată versiunea preluată ultima dată de Google și orice probleme găsite.

robots.txt vs noindex vs protecție cu parolă

Aceste trei instrumente rezolvă probleme diferite, iar confundarea lor este o sursă frecventă de probleme de indexare:

Gestionarea parametrilor și a navigării fațetate

Site-urile de e-commerce și de anunțuri generează adesea URL-uri ca acestea pentru fiecare combinație de filtre:

/shoes?colour=red
/shoes?colour=red&size=8
/shoes?colour=red&size=8&sort=price

Dacă aceste pagini nu adaugă valoare unică pentru cei care caută, blochează parametrii care creează combinații nesfârșite, cum ar fi sortarea:

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*sessionid=

Ai grijă să nu blochezi paginile de filtrare pe care chiar vrei să le clasezi – de exemplu, o pagină „pantofi de alergare roșii” cu cerere reală de căutare ar trebui să fie un URL accesibil și indexabil, cu conținut propriu.

Citirea robots.txt al oricărui site

Fișierele robots.txt ale concurenților pot fi instructive. Poți vedea din ce secțiuni țin crawlerele departe, unde le stau sitemapurile și cum gestionează crawlerele AI. Pentru că fișierul este public, este și primul lucru de verificat când un site pe care îl administrezi își pierde brusc vizibilitatea.

Testare și monitorizare

Modificările din robots.txt au mize mari, așa că tratează-le ca pe cod:

1. Păstrează o copie a versiunii anterioare înainte de editare
2. Testează URL-urile importante – pagina principală, categoriile și produsele cheie, fișierele CSS și JavaScript – față de noile reguli înainte de publicare
3. După publicare, verifică dacă fișierul returnează starea 200 și text simplu, nu o pagină de eroare HTML
4. Urmărește raportul robots.txt și raportul Indexarea paginilor din Search Console în zilele următoare

Unele sisteme de gestionare a conținutului și pluginuri SEO generează robots.txt dinamic. Dacă încarci un fișier robots.txt fizic, de obicei acesta îl înlocuiește pe cel virtual – asigură-te că editezi versiunea care este servită efectiv.

Concluzii principale

• robots.txt controlează crawlingul, nu indexarea – folosește noindex ca să ții paginile în afara rezultatelor căutării.
• Câștigă regula potrivită cea mai specifică, iar la egalitate Allow învinge Disallow.
• Nu bloca niciodată fișierele CSS sau JavaScript de care au nevoie paginile ca să fie redate.
• Separă crawlerele de antrenare AI de cele de căutare AI; blocarea antrenării nu afectează căutarea.
• Verifică întotdeauna robots.txt după lansări și migrări pentru reguli Disallow: / rămase.
• Testează URL-urile importante față de orice modificare înainte să o publici.

Întrebări frecvente

Am nevoie de un fișier robots.txt?

Nu neapărat. Fără el, crawlerele accesează totul. Dar robots.txt este locul standard în care îți listezi sitemapul și ții crawlerele departe de zonele de valoare mică, așa că majoritatea site-urilor ar trebui să aibă unul.

Google acceptă crawl-delay?

Nu. Googlebot ignoră Crawl-delay. Bing și alte câteva crawlere îl respectă.

În cât timp intră în vigoare modificările?

Google păstrează în general robots.txt în cache până la 24 de ore, așa că modificările pot dura o zi până sunt preluate.

Pot bloca o anumită pagină?

Da – Disallow: /private-page –, dar ține minte că asta blochează crawlingul, nu indexarea. Folosește noindex dacă scopul este să o ții în afara rezultatelor căutării.