Robots.txt जनरेटर
साइटमैप, ब्लॉक किए गए फ़ोल्डर और AI क्रॉलर नियंत्रण के साथ robots.txt फ़ाइल बनाएँ।
Robots.txt जनरेटर के बारे में
robots.txt फ़ाइल क्रॉलर को बताती है कि वे आपकी साइट के किन हिस्सों में जा सकते हैं। एडमिन क्षेत्र, आंतरिक खोज परिणाम, कार्ट और अनगिनत फ़िल्टर संयोजनों से बॉट को दूर रखने – और हर क्रॉलर को आपका XML साइटमैप बताने – के लिए यही सही जगह है।
यह जनरेटर कुछ विकल्पों से साफ़ और मान्य फ़ाइल बनाता है, जिसमें आम प्लेटफ़ॉर्म के प्रीसेट और AI ट्रेनिंग क्रॉलर (मॉडल ट्रेनिंग के लिए सामग्री इकट्ठा करने वाले) व AI सर्च क्रॉलर (AI खोज परिणामों में उत्तर देने और उद्धरण के लिए पेज लाने वाले) के लिए अलग नियंत्रण हैं। आप ट्रेनिंग ब्लॉक करके भी AI खोज में दिख सकते हैं। परिणाम को अपने डोमेन के रूट पर /robots.txt के रूप में अपलोड करें।
अक्सर पूछे जाने वाले सवाल
क्या robots.txt निजी पेज छिपा सकता है?
नहीं। फ़ाइल सार्वजनिक है और अच्छे बॉट केवल उसे मानना चुनते हैं। निजी सामग्री को robots.txt से नहीं, पासवर्ड या noindex से सुरक्षित करें।
क्या AI ट्रेनिंग बॉट ब्लॉक करने से Google रैंकिंग पर असर पड़ेगा?
नहीं। Google-Extended केवल यह तय करता है कि सामग्री Gemini ट्रेनिंग में इस्तेमाल हो या नहीं; Googlebot और Google Search प्रभावित नहीं होते।
क्या मुझे CSS और JavaScript ब्लॉक करने चाहिए?
नहीं। Google को पेज ठीक से रेंडर करने के लिए इनकी ज़रूरत है। इन्हें ब्लॉक करने से आपके पेज को समझने में नुकसान हो सकता है।