मेरा पेज Google में इंडेक्स क्यों नहीं हो रहा? 12 वजहें और उनके हल

आपने एक पेज प्रकाशित किया, इंतज़ार किया, सर्च किया – और वह कहीं नहीं मिला। रैंकिंग की चिंता करने से पहले बुनियादी बात पक्की करें: किसी पेज को सर्च नतीजों में दिखने के लिए पहले इंडेक्स होना ज़रूरी है।

यह गाइड उन सबसे आम वजहों से गुज़रती है जिनसे Google कोई पेज इंडेक्स नहीं करता, उसी क्रम में जिसमें उन्हें जाँचना फ़ायदेमंद है।

पहले: पक्का करें कि यह इंडेक्स है या नहीं

भरोसेमंद तरीका Google Search Console का URL Inspection टूल है। URL पेस्ट करें और यह बताता है कि पेज Google पर है या नहीं, उसे आखिरी बार कब क्रॉल किया गया, Google ने कौन सा canonical चुना और उसे क्यों बाहर रखा गया हो सकता है।

एक तेज़ मोटी जाँच site: सर्च है, जैसे site:example.com/blog/my-post, हालाँकि नतीजे हमेशा पूरे नहीं होते।

1. noindex डायरेक्टिव

noindex टैग सर्च इंजन को साफ़ तौर पर कहता है कि पेज को बाहर रखें:

<meta name="robots" content="noindex">

इसे HTTP हेडर (X-Robots-Tag: noindex) के रूप में भी भेजा जा सकता है, जो पेज के सोर्स में नहीं दिखता। आम वजहें: WordPress के “Discourage search engines” विकल्प जैसी CMS सेटिंग, किसी पोस्ट टाइप पर SEO प्लगइन की सेटिंग, या स्टेजिंग कॉन्फ़िगरेशन जो लाइव हो गया।

2. robots.txt से ब्लॉक

अगर robots.txt उस URL को मना करता है, तो Google उसे क्रॉल नहीं कर सकता। वह कभी-कभी लिंक से सिर्फ़ खाली URL इंडेक्स कर सकता है, लेकिन बिना कंटेंट के वह रैंक नहीं करेगा। Disallow नियम हटाएँ या उसका दायरा कम करें।

3. पेज एरर या रीडायरेक्ट लौटाता है

सिर्फ़ 200 OK लौटाने वाले पेज इंडेक्स होते हैं। 404, 410, 5xx एरर या रीडायरेक्ट लौटाने वाले पेज इंडेक्स नहीं होंगे। रुक-रुककर आने वाले सर्वर एरर भी पेजों को इंडेक्स से बाहर कर सकते हैं।

4. Canonical कहीं और इशारा करता है

अगर पेज का canonical टैग किसी दूसरे URL की ओर इशारा करता है, तो Google आमतौर पर उसकी जगह वह URL इंडेक्स करेगा। Search Console इसे “Alternate page with proper canonical tag” के रूप में बताता है। पक्का करें कि जिन पेजों को आप इंडेक्स करवाना चाहते हैं, उनके canonical खुद की ओर इशारा करें।

5. बिना चुने गए canonical के डुप्लिकेट

“Duplicate without user-selected canonical” या “Duplicate, Google chose different canonical than user” का मतलब है कि Google पेज को किसी दूसरे पेज की कॉपी मानता है। कंटेंट को अलग बनाएँ, रीडायरेक्ट से डुप्लिकेट को मिलाएँ, या canonical लगातार एक जैसे सेट करें।

6. Discovered – currently not indexed

Google जानता है कि URL मौजूद है लेकिन उसने अभी उसे क्रॉल नहीं किया। यह अक्सर नई या बड़ी साइटों पर होता है, और इसका संकेत हो सकता है कि Google उन URL को प्राथमिकता नहीं मानता। मदद के लिए:

• ज़रूरी, बार-बार क्रॉल होने वाले पेजों से इंटरनल लिंक जोड़ें
• URL को अपने साइटमैप में शामिल करें
• सर्वर स्पीड सुधारें ताकि Google ज़्यादा क्रॉल कर सके
• ध्यान के लिए होड़ करने वाले कम वैल्यू वाले URL (फ़िल्टर, पैरामीटर, पतले पेज) की संख्या घटाएँ

7. Crawled – currently not indexed

Google ने पेज लाया और उसे इंडेक्स न करने का फ़ैसला किया – कम से कम अभी के लिए। यह आमतौर पर क्वालिटी या वैल्यू का फ़ैसला होता है। पूछें:

• क्या यह पेज कुछ ऐसा देता है जो आपकी साइट या कहीं और पहले से उपलब्ध नहीं है?
• क्या कंटेंट पतला, अपने-आप बना हुआ या बड़े पैमाने पर कॉपी किया हुआ है?
• क्या यह आपकी साइट के दूसरे पेजों का लगभग डुप्लिकेट है?

कंटेंट को सुधारना और बढ़ाना, मिलते-जुलते पेजों को मिलाना और इंटरनल लिंक मज़बूत करना आम हल हैं। बार-बार इंडेक्सिंग का अनुरोध करने से क्वालिटी का फ़ैसला नहीं पलटेगा।

8. Soft 404

Soft 404 ऐसा पेज है जो 200 लौटाता है लेकिन एरर या खाली पेज जैसा दिखता है – जैसे “आउट ऑफ़ स्टॉक, कोई जानकारी नहीं” कहने वाला प्रोडक्ट पेज, खाली कैटेगरी या किसी अप्रासंगिक पेज पर रीडायरेक्ट। या तो उपयोगी कंटेंट जोड़ें या असली 404/410 लौटाएँ।

9. कंटेंट JavaScript पर निर्भर है

अगर मुख्य कंटेंट JavaScript चलने के बाद ही दिखता है, तो Google को उसे देखने से पहले पेज रेंडर करना पड़ता है। रेंडरिंग में देरी हो सकती है, और स्क्रिप्ट की गलतियाँ कंटेंट को पूरी तरह छिपा सकती हैं। जाँचें कि आपका ज़रूरी कंटेंट रॉ HTML में मौजूद है, या server-side rendering इस्तेमाल करें।

10. अनाथ पेज

जिस पेज पर कोई दूसरा पेज लिंक नहीं करता, उसे Google के लिए ढूँढना मुश्किल है और यह संकेत देता है कि वह ज़रूरी नहीं है। प्रासंगिक पेजों और कैटेगरी से उस पर लिंक करें।

11. साइट नई है या उसका अधिकार कम है

कम बाहरी लिंक वाली नई साइटें कम बार क्रॉल होती हैं, और शुरुआत में Google उनके पेजों का सिर्फ़ एक हिस्सा इंडेक्स कर सकता है। कम संख्या में मज़बूत पेजों पर ध्यान दें, कुछ असली लिंक और ज़िक्र कमाएँ, और इंडेक्सिंग आमतौर पर समय के साथ बढ़ती है।

12. मैनुअल एक्शन या सिक्योरिटी समस्याएँ

कभी-कभार, मैनुअल एक्शन (स्पैम के लिए) या सिक्योरिटी समस्या (हैक किया गया कंटेंट, मैलवेयर) की वजह से पेज हटा दिए जाते हैं। Search Console में Manual actions और Security issues रिपोर्ट जाँचें।

समस्या सुलझाने की चेकलिस्ट

1. Search Console में URL इंस्पेक्ट करें और सटीक स्टेटस पढ़ें
2. HTML और हेडर में noindex जाँचें
3. URL को robots.txt के सामने टेस्ट करें
4. पक्का करें कि यह बिना रीडायरेक्ट के 200 लौटाता है
5. Canonical टैग जाँचें
6. पक्का करें कि कंटेंट रॉ HTML में है
7. पक्का करें कि पेज इंटरनल रूप से लिंक है और साइटमैप में है
8. ईमानदारी से परखें कि कंटेंट यूनिक और उपयोगी है या नहीं
9. समस्या ठीक करें, फिर URL Inspection में Request indexing इस्तेमाल करें

आपको कितना इंतज़ार करना चाहिए?

स्थापित साइटों पर नए पेज अक्सर कुछ दिनों में इंडेक्स हो जाते हैं। नई साइटों पर कई हफ़्ते लग सकते हैं। अगर कोई पेज सभी तकनीकी जाँच पास करने के बावजूद कुछ हफ़्तों बाद भी इंडेक्स नहीं हुआ, तो समस्या आमतौर पर खोज (पर्याप्त इंटरनल लिंक नहीं) या उसकी समझी गई वैल्यू होती है।

बड़े पैमाने पर इंडेक्सिंग की जाँच

जब बहुत सारे पेज इंडेक्स न हों, तो URL एक-एक करके जाँचने की बजाय पैटर्न खोजें:

1. Search Console की Page indexing रिपोर्ट खोलें और “Why pages aren’t indexed” की सबसे बड़ी श्रेणियाँ नोट करें।
2. हर वजह पर क्लिक करके उदाहरण URL देखें। क्या वे सभी एक ही सेक्शन, टेम्पलेट या URL पैटर्न से हैं?
3. अपने साइटमैप से फ़िल्टर करें ताकि सिर्फ़ उन URL पर ध्यान रहे जिन्हें आप सच में इंडेक्स करवाना चाहते हैं।
4. प्रभावित सेक्शन क्रॉल करें ताकि स्टेटस कोड, canonical, noindex टैग और शब्द संख्या एक साथ जाँच सकें।

आम पैटर्न:

• सभी ब्लॉग पोस्ट noindex से बाहर → कोई टेम्पलेट या प्लगइन सेटिंग
• हज़ारों पैरामीटर URL डुप्लिकेट के रूप में → बिना canonical या क्रॉल नियंत्रण वाला फ़ेसेटेड नेविगेशन
• ज़्यादातर प्रोडक्ट पेज क्रॉल हुए लेकिन इंडेक्स नहीं → निर्माता के दिए पतले डिस्क्रिप्शन जो कई साइटों पर दोहराए गए हैं
• नए पेज discovered – not indexed में अटके → कमज़ोर इंटरनल लिंकिंग या धीमा सर्वर

क्रॉल हुए लेकिन इंडेक्स न हुए पेजों को सुधारना

जब Google ने पेज देख लिया हो और उसे इंडेक्स न करने का फ़ैसला किया हो, तो सिर्फ़ तकनीकी सुधार मदद नहीं करेंगे। पूछें कि पेज को सच में शामिल करने लायक क्या बनाएगा:

• यूनिक वैल्यू जोड़ें: ओरिजिनल जानकारी, खास विवरण, उदाहरण, इमेज या डेटा जो दूसरे पेजों में नहीं है
• मिलाएँ: अगर कई पतले पेज मिलती-जुलती बातें कवर करते हैं, तो उन्हें एक व्यापक पेज में मिलाएँ और बाकी को रीडायरेक्ट करें
• हटाएँ: अगर किसी पेज की सर्च करने वालों के लिए कोई वास्तविक वैल्यू नहीं है (एक पोस्ट वाले टैग पेज, खाली कैटेगरी), तो उसे noindex करें या हटा दें
• संकेत मज़बूत करें: प्रासंगिक, ज़रूरी पेजों से उस पर लिंक करें ताकि उसकी अहमियत साफ़ हो

पेज सुधारने के बाद इंडेक्सिंग का अनुरोध करें और उसे कुछ हफ़्ते दें।

नई वेबसाइटों के लिए इंडेक्सिंग

बिल्कुल नई साइटों पर शुरुआत में अक्सर सिर्फ़ कुछ पेज इंडेक्स होते हैं। इसे तेज़ करने के लिए:

• Search Console और Bing Webmaster Tools में साइट वेरिफ़ाई करें और साइटमैप सबमिट करें
• सैकड़ों पतले पेजों की बजाय कम संख्या में मज़बूत, पूरे पेजों के साथ लॉन्च करें
• पक्का करें कि हर पेज होमपेज या किसी कैटेगरी पेज से लिंक हो
• कुछ असली लिंक कमाएँ – प्रासंगिक डायरेक्टरी, पार्टनर साइटें, स्थानीय प्रेस या उद्योग संघों में लिस्टिंग
• लगातार प्रकाशित करें, ताकि क्रॉलर सीख जाएँ कि साइट नियमित रूप से अपडेट होती है

Search Console के बिना इंडेक्सिंग जाँचना

अगर आपके पास Search Console की पहुँच नहीं है – जैसे किसी प्रतिस्पर्धी का विश्लेषण करते समय – तो सटीक URL के लिए site: सर्च एक मोटा संकेत देती है, और इंडेक्सेबिलिटी जाँच पुष्टि करती है कि कोई तकनीकी चीज़ इंडेक्सिंग रोक रही है या नहीं। आपकी अपनी साइट के लिए Search Console ही एकमात्र आधिकारिक स्रोत है।

मुख्य बातें

• यह ठीक-ठीक देखने के लिए कि पेज इंडेक्स क्यों नहीं है, Search Console का URL Inspection टूल इस्तेमाल करें।
• पहले तकनीकी रुकावटें जाँचें: noindex, robots.txt, स्टेटस कोड और canonical टैग।
• पक्का करें कि ज़रूरी कंटेंट रॉ HTML में है और पेज इंटरनल रूप से लिंक है।
• “Crawled – currently not indexed” आमतौर पर वैल्यू के बारे में है – पतले पेजों को सुधारें, मिलाएँ या हटाएँ।
• कई URL में पैटर्न खोजें; इंडेक्सिंग की ज़्यादातर समस्याएँ टेम्पलेट और सेटिंग से आती हैं।
• समस्या ठीक करने के बाद इंडेक्सिंग का अनुरोध करें, फिर Google को दोबारा क्रॉल करने का समय दें।

अक्सर पूछे जाने वाले सवाल

क्या “Request indexing” इंडेक्सिंग की गारंटी देता है?

नहीं। यह Google से पेज जल्दी क्रॉल करने को कहता है। उसे इंडेक्स करना है या नहीं, यह Google ही तय करता है।

इंडेक्स हुए पेज बाहर क्यों हो गए?

आम वजहें हैं नया noindex या canonical की समस्या, सर्वर एरर, डुप्लिकेट कंटेंट का एकीकरण, या core अपडेट के बाद Google का पतले पेजों की क्वालिटी का दोबारा मूल्यांकन।

क्या कुछ पेजों का इंडेक्स न होना सामान्य है?

हाँ। हर साइट पर ऐसे पेज होते हैं जिन्हें Google इंडेक्स न करना चुनता है, जैसे डुप्लिकेट और कम वैल्यू वाले URL। मायने यह रखता है कि आपके ज़रूरी पेज इंडेक्स हों।

क्या साइटमैप सबमिट करने से इंडेक्सिंग की समस्याएँ ठीक होती हैं?

साइटमैप खोज में मदद करता है, लेकिन यह noindex टैग, ब्लॉकिंग, canonical की समस्याओं या कम क्वालिटी को पार नहीं कर सकता।