Robots.txt: पूरी गाइड (उदाहरणों और AI क्रॉलर के साथ)

robots.txt आपकी वेबसाइट के रूट पर मौजूद एक सादी टेक्स्ट फ़ाइल है जो क्रॉलर को बताती है कि साइट के किन हिस्सों में जाने की उन्हें अनुमति है। यह सरल है, ताकतवर है और इसमें गलती करना आसान है – एक ही लाइन सर्च इंजन को आपकी पूरी साइट क्रॉल करने से रोक सकती है।

यह गाइड बताती है कि यह कैसे काम करता है, इसे सुरक्षित ढंग से कैसे लिखें और लगातार बढ़ते AI क्रॉलर को कैसे संभालें।

robots.txt कहाँ रहता है

फ़ाइल हर होस्ट के रूट पर होनी चाहिए:

https://example.com/robots.txt

यह सिर्फ़ उसी होस्ट और प्रोटोकॉल पर लागू होती है। blog.example.com को अपनी अलग फ़ाइल चाहिए, और http:// को भी अगर वह कंटेंट देता है (हालाँकि उसे वैसे भी HTTPS पर रीडायरेक्ट होना चाहिए)।

अगर कोई robots.txt नहीं है (सर्वर 404 लौटाता है), तो क्रॉलर मान लेते हैं कि वे सब कुछ क्रॉल कर सकते हैं।

बुनियादी सिंटैक्स

User-agent: *
Disallow: /admin/
Disallow: /cart
Allow: /admin/public-help/

Sitemap: https://example.com/sitemap.xml

• User-agent उस क्रॉलर का नाम बताता है जिस पर नियमों का समूह लागू होता है। * का मतलब सभी क्रॉलर है।
• Disallow उस पाथ प्रीफ़िक्स की सूची देता है जिसे क्रॉलर को नहीं लाना चाहिए।
• Allow मना किए गए क्षेत्र के अंदर एक अपवाद बनाता है।
• Sitemap XML साइटमैप का पूरा URL देता है। यह फ़ाइल में कहीं भी हो सकता है और सभी क्रॉलर पर लागू होता है।

# से शुरू होने वाली लाइनें टिप्पणियाँ हैं।

वाइल्डकार्ड

Google, Bing और ज़्यादातर बड़े क्रॉलर दो खास कैरेक्टर सपोर्ट करते हैं:

• * किसी भी कैरेक्टर क्रम से मेल खाता है: Disallow: /*?sort= हर उस URL को ब्लॉक करता है जिसमें ?sort= हो
• $ URL का अंत दर्शाता है: Disallow: /*.pdf$ .pdf पर खत्म होने वाले URL ब्लॉक करता है

नियम कैसे मेल खाते हैं

robots.txt अब एक आधिकारिक इंटरनेट स्टैंडर्ड है (RFC 9309, 2022 में प्रकाशित), जो इस बात पर आधारित है कि Google इसे लंबे समय से कैसे संभालता आया है:

1. क्रॉलर उस समूह का इस्तेमाल करता है जिसका User-agent उससे सबसे खास तौर पर मेल खाता है। अगर User-agent: Googlebot समूह मौजूद है तो Googlebot उसे मानता है, और * समूह को नज़रअंदाज़ करता है।
2. उस समूह के अंदर सबसे खास (सबसे लंबा) मेल खाने वाला नियम जीतता है।
3. अगर Allow और Disallow नियम बराबर खास हैं, तो Allow जीतता है।

उदाहरण:

User-agent: *
Disallow: /shop/
Allow: /shop/sale/

/shop/sale/shoes की अनुमति है (Allow नियम लंबा है), जबकि /shop/new/shoes ब्लॉक है।

robots.txt क्या करता है – और क्या नहीं करता

यह क्रॉलिंग नियंत्रित करता है, इंडेक्सिंग नहीं. मना किया गया URL अगर दूसरे पेज उससे लिंक करते हैं, तो फिर भी सर्च नतीजों में दिख सकता है, आमतौर पर बिना डिस्क्रिप्शन के। किसी पेज को सर्च नतीजों से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और इसकी जगह noindex robots meta टैग या X-Robots-Tag हेडर इस्तेमाल करें।

यह सार्वजनिक है. कोई भी आपका robots.txt पढ़ सकता है। निजी क्षेत्रों को छिपाने के लिए इसका इस्तेमाल कभी न करें – यह असल में उनका विज्ञापन करता है। निजी कंटेंट को ऑथेंटिकेशन से सुरक्षित करें।

यह स्वैच्छिक है. प्रतिष्ठित क्रॉलर इसे मानते हैं; दुर्भावनापूर्ण बॉट इसे नज़रअंदाज़ करते हैं।

सुरक्षित उदाहरण

सब कुछ अनुमति दें (और साइटमैप की ओर इशारा करें)

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

ऑनलाइन स्टोर

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=
Disallow: /*?*filter=

Sitemap: https://example.com/sitemap.xml

सॉर्टिंग और फ़िल्टरिंग पैरामीटर ब्लॉक करने से क्रॉलर हज़ारों लगभग डुप्लिकेट URL पर समय बर्बाद नहीं करते।

स्टेजिंग साइट (सब कुछ ब्लॉक करें)

User-agent: *
Disallow: /

इसे सिर्फ़ स्टेजिंग या डेवलपमेंट साइटों पर इस्तेमाल करें – और उससे भी बेहतर, उन्हें पासवर्ड से सुरक्षित करें। लॉन्च के समय इसे हटाना भूल जाना साइट के सर्च से गायब होने की सबसे आम वजहों में से एक है।

AI क्रॉलर को संभालना

AI कंपनियाँ कई तरह के क्रॉलर चलाती हैं, और उनके साथ अलग-अलग व्यवहार करना फ़ायदेमंद है:

Google-Extended एक अलग क्रॉलर नहीं बल्कि एक कंट्रोल टोकन है: इसे ब्लॉक करने से कंटेंट Gemini मॉडल ट्रेनिंग में इस्तेमाल होने से रुकता है लेकिन Google Search या AI Overviews पर कोई असर नहीं पड़ता, जो Googlebot पर निर्भर हैं।

एक आम बीच का कॉन्फ़िगरेशन ट्रेनिंग को ब्लॉक करता है और AI सर्च में दिखता रहता है:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

प्रोवाइडर्स के डॉक्यूमेंटेशन समय-समय पर देखते रहें, क्योंकि क्रॉलर के नाम और मकसद बदलते हैं।

आम गलतियाँ

1. स्टेजिंग का Disallow: / छोड़ देना. लॉन्च या माइग्रेशन के बाद हमेशा robots.txt जाँचें।
2. CSS और JavaScript ब्लॉक करना. Google को पेज रेंडर करने के लिए इनकी ज़रूरत है; इन्हें ब्लॉक करने से Googlebot को पेज टूटे हुए दिख सकते हैं।
3. Google से पेज हटाने के लिए robots.txt इस्तेमाल करना. ब्लॉक किए गए पेजों का noindex दिख ही नहीं सकता। इसकी जगह noindex इस्तेमाल करें।
4. ऐसे पेज ब्लॉक करना जिन पर canonical या रीडायरेक्ट है जिसे आप सर्च इंजन को दिखाना चाहते हैं।
5. टाइपो और गलत केस. पाथ केस-सेंसिटिव हैं: /Admin/ और /admin/ अलग हैं।
6. बहुत बड़ी फ़ाइल. Google सिर्फ़ पहले 500 KiB पढ़ता है।
7. एरर के साथ robots.txt देना. अगर robots.txt 5xx एरर लौटाता है, तो Google कुछ समय के लिए साइट क्रॉल करना बंद कर सकता है।

बदलावों की जाँच

नया robots.txt प्रकाशित करने से पहले अपने सबसे ज़रूरी URL को उसके सामने टेस्ट करें – होमपेज, मुख्य कैटेगरी और प्रोडक्ट पेज, और आपकी CSS और JavaScript फ़ाइलें। Search Console की robots.txt रिपोर्ट वह वर्ज़न दिखाती है जो Google ने आखिरी बार लाया था और उसमें मिली कोई भी समस्या।

robots.txt बनाम noindex बनाम पासवर्ड सुरक्षा

ये तीनों टूल अलग-अलग समस्याएँ हल करते हैं, और इन्हें आपस में मिला देना इंडेक्सिंग की परेशानी का आम स्रोत है:

पैरामीटर और फ़ेसेटेड नेविगेशन को संभालना

ई-कॉमर्स और लिस्टिंग साइटें अक्सर फ़िल्टर के हर कॉम्बिनेशन के लिए ऐसे URL बनाती हैं:

/shoes?colour=red
/shoes?colour=red&size=8
/shoes?colour=red&size=8&sort=price

अगर ये पेज सर्च करने वालों के लिए कोई यूनिक वैल्यू नहीं जोड़ते, तो उन पैरामीटर को ब्लॉक करें जो अंतहीन कॉम्बिनेशन बनाते हैं, जैसे सॉर्टिंग:

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*sessionid=

ध्यान रखें कि उन फ़िल्टर पेजों को ब्लॉक न करें जिन्हें आप सच में रैंक करवाना चाहते हैं – उदाहरण के लिए, असली सर्च माँग वाला “लाल रनिंग शूज़” पेज अपने कंटेंट के साथ क्रॉल और इंडेक्स होने योग्य URL होना चाहिए।

किसी भी साइट का robots.txt पढ़ना

प्रतिस्पर्धियों की robots.txt फ़ाइलें देखना सीखने वाला हो सकता है। आप देख सकते हैं कि वे किन सेक्शन से क्रॉलर को बाहर रखते हैं, उनके साइटमैप कहाँ हैं और वे AI क्रॉलर को कैसे संभालते हैं। चूँकि फ़ाइल सार्वजनिक है, यह पहली चीज़ भी है जिसे तब जाँचना चाहिए जब आपकी संभाली कोई साइट अचानक विज़िबिलिटी खो दे।

टेस्टिंग और निगरानी

robots.txt में बदलाव का दाँव ऊँचा है, इसलिए इसे कोड की तरह संभालें:

1. एडिट करने से पहले पिछले वर्ज़न की कॉपी रखें
2. प्रकाशित करने से पहले ज़रूरी URL – होमपेज, मुख्य कैटेगरी और प्रोडक्ट, CSS और JavaScript फ़ाइलें – को नए नियमों के सामने टेस्ट करें
3. प्रकाशित करने के बाद जाँचें कि फ़ाइल 200 स्टेटस और सादा टेक्स्ट लौटाती है, कोई HTML एरर पेज नहीं
4. अगले कुछ दिनों तक Search Console की robots.txt रिपोर्ट और Page indexing रिपोर्ट पर नज़र रखें

कुछ कंटेंट मैनेजमेंट सिस्टम और SEO प्लगइन robots.txt डायनामिक रूप से बनाते हैं। अगर आप एक असली robots.txt फ़ाइल अपलोड करते हैं, तो वह आमतौर पर वर्चुअल फ़ाइल की जगह ले लेती है – पक्का करें कि आप वही वर्ज़न एडिट कर रहे हैं जो असल में दिया जा रहा है।

मुख्य बातें

• robots.txt क्रॉलिंग नियंत्रित करता है, इंडेक्सिंग नहीं – पेजों को सर्च नतीजों से बाहर रखने के लिए noindex इस्तेमाल करें।
• सबसे खास मेल खाने वाला नियम जीतता है, और बराबरी में Allow, Disallow को हराता है।
• पेजों को रेंडर होने के लिए जिन CSS या JavaScript फ़ाइलों की ज़रूरत है, उन्हें कभी ब्लॉक न करें।
• AI ट्रेनिंग क्रॉलर को AI सर्च क्रॉलर से अलग रखें; ट्रेनिंग ब्लॉक करने से सर्च पर असर नहीं पड़ता।
• लॉन्च और माइग्रेशन के बाद हमेशा robots.txt में बचे हुए Disallow: / नियम जाँचें।
• कोई भी बदलाव प्रकाशित करने से पहले ज़रूरी URL को उसके सामने टेस्ट करें।

अक्सर पूछे जाने वाले सवाल

क्या मुझे robots.txt फ़ाइल चाहिए?

सख्ती से नहीं। इसके बिना क्रॉलर सब कुछ एक्सेस करते हैं। लेकिन robots.txt आपका साइटमैप बताने और क्रॉलर को कम वैल्यू वाले क्षेत्रों से बाहर रखने की मानक जगह है, इसलिए ज़्यादातर साइटों में एक होनी चाहिए।

क्या Google crawl-delay सपोर्ट करता है?

नहीं। Googlebot Crawl-delay को नज़रअंदाज़ करता है। Bing और कुछ दूसरे क्रॉलर इसे मानते हैं।

बदलाव लागू होने में कितना समय लगता है?

Google आमतौर पर robots.txt को 24 घंटे तक कैश करता है, इसलिए बदलाव पकड़ में आने में एक दिन लग सकता है।

क्या मैं किसी खास पेज को ब्लॉक कर सकता हूँ?

हाँ – Disallow: /private-page – लेकिन याद रखें कि यह क्रॉलिंग ब्लॉक करता है, इंडेक्सिंग नहीं। अगर मकसद उसे सर्च नतीजों से बाहर रखना है, तो noindex इस्तेमाल करें।