كيف تعمل محركات البحث: شرح الزحف والفهرسة والترتيب

في كل مرة تبحث فيها، يختار محرك البحث عددًا قليلًا من الصفحات من بين مئات المليارات ويرتبها في جزء من الثانية. ويستطيع ذلك لأن معظم العمل قد تم قبل وقت طويل من كتابتك لأي شيء.

يجري هذا العمل على أربع مراحل: الزحف والعرض والفهرسة والترتيب. وفهمها هو أساس تحسين محركات البحث، لأن كل مرحلة منها موضع قد تنجح فيه صفحاتك أو تفشل بصمت.

المرحلة 1: الزحف – اكتشاف الصفحات

تستخدم محركات البحث برامج آلية تُسمى الزواحف (زاحف Google هو Googlebot، وزاحف Microsoft هو Bingbot) لجلب صفحات الويب. وتكتشف الزواحف عناوين URL الجديدة بثلاث طرق رئيسية:

• تتبّع الروابط من الصفحات التي تعرفها بالفعل
• قراءة خرائط XML التي يرسلها أصحاب المواقع
• إرسال عناوين URL، مثلًا عبر Google Search Console أو بروتوكول IndexNow الذي تدعمه Bing وغيرها

لا تزور الزواحف كل صفحة كل يوم. فهي تقرر عدد مرات العودة إلى الموقع بناءً على مدى أهميته، ومعدل تغيّره، وسرعة استجابة الخادم. وعلى المواقع الضخمة جدًا أن تهتم بـميزانية الزحف – أي عدد عناوين URL التي يرغب محرك البحث ويقدر على زحفها خلال فترة معينة – أما معظم المواقع التي تضم بضعة آلاف من الصفحات فلا داعي لقلقها بشأن ميزانية الزحف.

ما الذي قد يمنع الزحف

• قواعد robots.txt التي تمنع قسمًا أو الموقع بأكمله
• أخطاء الخادم (5xx) وانتهاء المهلة، ما يجعل الزواحف تبطئ
• الصفحات اليتيمة التي لا يشير إليها أي رابط
• روابط ليست روابط حقيقية، مثل قوائم تنقل مبنية فقط بمعالجات نقر JavaScript

المرحلة 2: العرض – رؤية الصفحة كما يراها المتصفح

تُبنى كثير من الصفحات الحديثة باستخدام JavaScript. وقد يكون HTML الذي يرسله الخادم شبه فارغ، ويُضاف المحتوى داخل المتصفح. ولرؤية هذا المحتوى، تمرّر Google الصفحات عبر نسخة من Chrome بلا واجهة تُسمى خدمة عرض الويب (Web Rendering Service).

يستهلك العرض موارد إضافية، لذا قد يحدث في وقت لاحق للزحف الأولي. ومن ثم فإن المحتوى الذي لا يظهر إلا بعد تشغيل JavaScript قد يُفهرس ببطء أكبر، وقد تخفيه أخطاء السكربتات تمامًا. كما أن معظم زواحف الذكاء الاصطناعي وكثيرًا من الروبوتات الأخرى لا تشغّل JavaScript أصلًا.

الأسلوب الأكثر أمانًا هو تضمين المحتوى الرئيسي والروابط والعنوان والوصف التعريفي ووسم canonical في HTML الأولي – وهذا ما يوفره العرض من جهة الخادم والتوليد الثابت.

المرحلة 3: الفهرسة – فهم الصفحات وتخزينها

بعد جلب الصفحة (وعرضها عند الحاجة)، يحللها محرك البحث: النص والعناوين والصور والروابط والبيانات المنظمة والبيانات الوصفية. ويحدد موضوع الصفحة ولغتها والصفحات الأخرى التي تكررها وما إذا كانت تستحق الاحتفاظ بها.

الفهرسة انتقائية. فـGoogle لا تفهرس كل صفحة تزحف إليها. وقد تُستبعد الصفحات لأنها:

• تطلب عدم فهرستها بتوجيه noindex
• تكرر صفحة أخرى، وفي هذه الحالة تختار Google نسخة أساسية (canonical) واحدة لفهرستها
• تقدم قيمة ضئيلة، مثل الصفحات شبه الفارغة أو المحتوى المولّد آليًا
• تُرجع أخطاء أو عمليات إعادة توجيه

يمكنك معرفة أي صفحاتك مفهرسة، ولماذا لم تُفهرس غيرها، في تقرير فهرسة الصفحات في Google Search Console.

تحديد الصفحة الأساسية

كثيرًا ما يتوفر المحتوى نفسه على عدة عناوين URL: مع www وبدونها، ومع معلمات التتبع، وبترتيبات فرز مختلفة. تجمع محركات البحث هذه النسخ المكررة وتختار عنوان URL أساسيًا واحدًا لعرضه في النتائج. ويمكنك التأثير في هذا الاختيار عبر عمليات إعادة التوجيه، ووسوم rel="canonical"، والروابط الداخلية المتسقة، وخريطة الموقع.

المرحلة 4: الترتيب – اختيار النتائج وترتيبها

عندما يبحث شخص ما، يبحث المحرك عن الصفحات المطابقة في فهرسه ويرتبها باستخدام إشارات كثيرة. وقد وصفت Google العوامل العامة التي تأخذها في الحسبان:

• معنى الاستعلام – ما يسأل عنه الباحث فعلًا، بما في ذلك تصحيح الإملاء والمرادفات والنية
• الصلة – مدى تطابق محتوى الصفحة مع هذا المعنى
• الجودة – مؤشرات على أن المحتوى مفيد وموثوق ويُظهر الخبرة والتجربة والسلطة والثقة
• سهولة الاستخدام – عوامل تجربة الصفحة مثل التوافق مع الجوال وHTTPS ومؤشرات أداء الويب الأساسية
• السياق – موقع الباحث ولغته وإعداداته

تظل الروابط من المواقع الأخرى إشارة مهمة على السلطة، وتساعد محركات البحث على اكتشاف الصفحات وفهمها. ولا يحسم عامل واحد الترتيب؛ فالصلة والفائدة تأتيان أولًا.

نتائج البحث أكثر من عشرة روابط زرقاء

تتضمن صفحات النتائج الآن المقتطفات المميزة، ونتائج الصور والفيديو، وحزم الخرائط المحلية، ومربعات «أسئلة ذات صلة»، ونتائج التسوق، والملخصات المولّدة بالذكاء الاصطناعي. وكل منها يستمد من الفهرس بطرق مختلفة قليلًا. يمكن للبيانات المنظمة أن تجعل الصفحات مؤهلة لبعض النتائج المنسقة، كما أن المحتوى الواضح والمنظم جيدًا أكثر عرضة للاقتباس في المقتطفات وإجابات الذكاء الاصطناعي.

أين يقع بحث الذكاء الاصطناعي

لا تزال تجارب البحث بالذكاء الاصطناعي، مثل AI Overviews وAI Mode من Google وبحث ChatGPT وPerplexity، تعتمد على العثور على صفحات الويب وقراءتها. وتستمد ميزات الذكاء الاصطناعي في Google من فهرس البحث المعتاد، لذا فالأساسيات واحدة: يجب أن تكون الصفحة قابلة للزحف والفهرسة ومسموحًا لها بعرض المقتطفات حتى تُستخدم. أما محركات البحث بالذكاء الاصطناعي الأخرى فتشغّل زواحفها الخاصة – مثل OAI-SearchBot وPerplexityBot – ويمكنك السماح لها أو حظرها في robots.txt.

ما الذي تتحكم فيه في كل مرحلة

فحص صحي سريع

1. ابحث في Google عن site:yourdomain.com للحصول على فكرة تقريبية عن عدد الصفحات المفهرسة (الرقم تقديري).
2. افتح تقرير فهرسة الصفحات في Search Console وراجع أسباب عدم فهرسة الصفحات.
3. شغّل تدقيقًا لأهم صفحاتك لاكتشاف مشكلات الزحف والفهرسة وتحسين الصفحة.

ميزانية الزحف: متى تهم وكيف تديرها

بالنسبة لمعظم المواقع، تزحف Google إلى كل ما هو مهم دون أي مساعدة. وتصبح ميزانية الزحف مصدر قلق حقيقي في المواقع التي تضم عشرات الآلاف من عناوين URL أو أكثر – المتاجر الإلكترونية الكبيرة والأسواق ومواقع الإعلانات المبوبة والأخبار – أو في المواقع ذات الخوادم البطيئة.

يحدد أمران مقدار ما يزحف إليه محرك البحث:

• سعة الزحف – عدد الطلبات التي يتحملها خادمك دون أن يتباطأ. فإذا أصبحت الاستجابات بطيئة أو أرجعت أخطاء، يتراجع Googlebot.
• الطلب على الزحف – مدى رغبة Google في الزحف، بناءً على شعبية صفحاتك وتكرار تحديثها.

أكثر الطرق شيوعًا لإهدار ميزانية الزحف هي توليد أعداد هائلة من عناوين URL منخفضة القيمة: التنقل بالفلاتر الذي ينشئ عنوانًا لكل تركيبة فلاتر، ومعرّفات الجلسة في العناوين، وصفحات التقويم التي لا تنتهي، ونتائج البحث الداخلي، والتمرير اللانهائي دون عناوين مرقّمة. وكل واحد منها قد ينتج آلاف الصفحات شبه المكررة التي تجلبها الزواحف بإخلاص.

للحفاظ على تركيز الزحف:

1. احظر فخاخ الزحف مثل معلمات الفرز والتصفية في robots.txt عندما لا تضيف قيمة فريدة
2. تجنب الربط بعناوين URL لا تريد زحفها
3. اقصر خريطة موقعك على عناوين URL الأساسية القابلة للفهرسة
4. أصلح سلاسل إعادة التوجيه والروابط المعطلة التي تهدر الطلبات
5. حسّن زمن استجابة الخادم – فالموقع الأسرع يمكن الزحف إليه أكثر

ما الذي تكشفه ملفات السجل

تسجل ملفات سجل الخادم كل طلب إلى موقعك، بما في ذلك طلبات زواحف محركات البحث. ويكشف تحليلها الصفحات التي يزورها Googlebot فعلًا، وعدد المرات، ورموز الحالة التي يتلقاها. وتحليل السجلات هو الطريقة الوحيدة لرؤية الزحف كما يحدث فعلًا لا كما تقدّره الأدوات. على استضافة cPanel، تتوفر سجلات الوصول الخام عادةً ضمن «Raw Access» أو «Metrics». تحقّق من أن الطلبات التي تدّعي أنها من Googlebot هي كذلك فعلًا، لأن الروبوتات كثيرًا ما تزيّف وكيل المستخدم – وتنشر Google نطاقات IP التي تستخدمها زواحفها.

الفهرسة بأولوية الجوال

تستخدم Google الآن بشكل أساسي نسخة الجوال من الصفحات للزحف والفهرسة، وGooglebot للهواتف الذكية هو الزاحف الرئيسي. فإذا كان موقعك على الجوال يعرض محتوى أقل أو روابط أقل أو بيانات منظمة مختلفة أو صورًا مفقودة مقارنة بنسخة سطح المكتب، فقد لا ترى Google ما هو مفقود أبدًا. والتصميم المتجاوب – نفس HTML لجميع الأجهزة مع تكييفه بواسطة CSS – يتجنب المشكلة تمامًا.

مثال عملي

تخيّل أن مدونة وصفات جديدة نشرت مقالًا عن خبز العجين المخمّر. إليك ما يحدث:

1. الصفحة الرئيسية للمدونة، التي يزورها Googlebot بانتظام، أصبحت تحتوي على رابط للمقال الجديد. كما تدرجه خريطة الموقع بتاريخ lastmod حديث.
2. يكتشف Googlebot عنوان URL ويضيفه إلى قائمة انتظار الزحف. ولأن المدونة جديدة، قد يستغرق ذلك يومًا أو يومين.
3. يجلب Googlebot الصفحة. الوصفة موجودة في HTML، فلا يحدث تأخير في العرض.
4. تفهرس Google الصفحة، وتلاحظ بيانات Recipe المنظمة والمكونات والكاتب، وتحدد أنها وصفة إنجليزية لخبز العجين المخمّر.
5. عندما يبحث شخص عن «وصفة عجين مخمّر سهلة للمبتدئين»، تقارن Google المقال بآلاف غيره وترتبه بناءً على الصلة وإشارات الجودة وسمعة الموقع وسياق الباحث.

كل خطوة فرصة للتحسين: اكتشاف أسرع بالروابط الداخلية، وفهرسة أسرع بمحتوى معروض من الخادم، وفهم أفضل بالبيانات المنظمة، وترتيب أفضل بمحتوى مفيد حقًا.

أهم النقاط

• تعمل محركات البحث على أربع مراحل: الزحف والعرض والفهرسة والترتيب – وقد تفشل الصفحة في أي منها.
• تجد الزواحف الصفحات عبر الروابط وخرائط المواقع والإرسال، ويتحكم robots.txt في الأماكن المسموح لها بدخولها.
• المحتوى الذي يحتاج إلى JavaScript ليظهر تفهرسه Google ببطء أكبر، ولا تراه معظم زواحف الذكاء الاصطناعي.
• الفهرسة انتقائية: تُدمج النسخ المكررة في عنوان URL أساسي واحد، وقد تُستبعد الصفحات منخفضة القيمة.
• يوازن الترتيب بين الصلة والجودة وسهولة الاستخدام والسياق، وتظل الروابط إشارة مهمة على السلطة.
• تعتمد ميزات البحث بالذكاء الاصطناعي على الأسس نفسها – يجب أن تكون الصفحة قابلة للزحف والفهرسة ومسموحًا لها بعرض المقتطفات.

الأسئلة الشائعة

كم تستغرق Google لفهرسة صفحة جديدة؟

تتراوح المدة بين بضع ساعات وعدة أسابيع. ويساعد الربط إلى الصفحة من صفحات مهمة، وإدراجها في خريطة الموقع، وطلب الفهرسة في Search Console على اكتشافها أسرع.

هل يضمن إرسال خريطة الموقع الفهرسة؟

لا. تساعد خريطة الموقع محركات البحث على اكتشاف عناوين URL، لكنها تظل تقرر ما إذا كانت كل صفحة تستحق الفهرسة.

لماذا تفهرس Google عنوان URL مختلفًا عن الذي أريده؟

تختار Google النسخة الأساسية من مجموعة نسخ مكررة باستخدام إشارات مثل إعادة التوجيه ووسوم canonical والروابط الداخلية وخرائط المواقع. اجعل كل هذه الإشارات تشير باتساق إلى عنوان URL المفضل لديك.

هل أحتاج إلى إرسال موقعي إلى محركات البحث؟

ليس بالضرورة – فمحركات البحث تجد معظم المواقع عبر الروابط. لكن التحقق من موقعك في Google Search Console وBing Webmaster Tools وإرسال خريطة الموقع يمنحك اكتشافًا أسرع وبيانات تشخيصية قيّمة.