Robots.txt टेस्टर
robots.txt लाकर सत्यापित करें, और जाँचें कि कोई URL Googlebot या AI बॉट के लिए ब्लॉक तो नहीं है।
Robots.txt टेस्टर के बारे में
robots.txt साइट के रूट (/robots.txt) पर एक सादी टेक्स्ट फ़ाइल है जो क्रॉलर को बताती है कि वे साइट के किन हिस्सों में जा सकते हैं। एक गलत पंक्ति – जैसे स्टेजिंग साइट से छूटा Disallow: / – सर्च इंजन को पूरी साइट क्रॉल करने से रोक सकती है।
यह टेस्टर लाइव फ़ाइल लाता है, हर पंक्ति जाँचता है और बताता है कि चुने गए क्रॉलर के लिए कोई पाथ अनुमत है या नहीं, साथ में ठीक वह नियम दिखाता है जो मेल खाया। यह Google द्वारा उपयोग किए जाने वाले आधिकारिक robots.txt मानक (RFC 9309) का पालन करता है: सबसे विशिष्ट (सबसे लंबा) नियम जीतता है, और बराबरी पर Allow जीतता है। यह एक नज़र में यह भी दिखाता है कि GPTBot, ClaudeBot और PerplexityBot जैसे कौन-से AI क्रॉलर उस पाथ तक पहुँच सकते हैं।
अक्सर पूछे जाने वाले सवाल
क्या robots.txt पेज को इंडेक्स होने से रोकता है?
नहीं। यह क्रॉलिंग रोकता है, इंडेक्सिंग नहीं। अगर दूसरी साइटें ब्लॉक किए गए URL को लिंक करती हैं, तो वह फिर भी परिणामों में दिख सकता है। पेज को परिणामों से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और noindex मेटा टैग जोड़ें।
क्या मुझे AI क्रॉलर ब्लॉक करने चाहिए?
यह आपका निर्णय है। ट्रेनिंग बॉट (जैसे GPTBot या Google-Extended) को ब्लॉक करने से Google Search पर असर नहीं पड़ता। सर्च बॉट (जैसे OAI-SearchBot या PerplexityBot) को ब्लॉक करने से आपकी साइट उन AI खोज परिणामों में दिखना बंद हो सकती है।
robots.txt कहाँ रखी जानी चाहिए?
हर होस्ट और प्रोटोकॉल के रूट पर: https://example.com/robots.txt। blog.example.com जैसे सबडोमेन को अपनी अलग फ़ाइल चाहिए।