مختبر robots.txt
اجلب ملف robots.txt وتحقق منه، واختبر ما إذا كان أي رابط محظورًا على Googlebot أو روبوتات الذكاء الاصطناعي.
حول مختبر robots.txt
robots.txt ملف نصي بسيط في جذر الموقع (/robots.txt) يخبر الزواحف بالأجزاء التي يحق لها زيارتها. سطر خاطئ واحد – مثل Disallow: / المتبقي من موقع تجريبي – قد يمنع محركات البحث من زحف كل شيء.
يجلب هذا المختبر الملف الحي، ويتحقق من كل سطر، ويخبرك هل المسار مسموح للزاحف الذي تختاره، مع إظهار القاعدة المطابقة بالضبط. يتبع معيار robots.txt الرسمي (RFC 9309) الذي يستخدمه Google: القاعدة الأكثر تحديدًا (الأطول) تفوز، وAllow يفوز عند التعادل. كما يُظهر بنظرة واحدة أي زواحف الذكاء الاصطناعي – مثل GPTBot وClaudeBot وPerplexityBot – يمكنها الوصول إلى المسار.
الأسئلة الشائعة
هل يمنع robots.txt فهرسة الصفحة؟
لا. هو يمنع الزحف لا الفهرسة. قد يظهر رابط محظور في النتائج إذا ربطت إليه مواقع أخرى. لإبعاد صفحة عن نتائج البحث، اسمح بالزحف وأضف وسم noindex.
هل أحظر زواحف الذكاء الاصطناعي؟
القرار لك. حظر روبوتات التدريب (مثل GPTBot أو Google-Extended) لا يؤثر في بحث Google. أما حظر روبوتات البحث (مثل OAI-SearchBot أو PerplexityBot) فقد يمنع ظهور موقعك في نتائج بحث الذكاء الاصطناعي تلك.
أين يجب وضع robots.txt؟
في جذر كل مضيف وبروتوكول: https://example.com/robots.txt. النطاقات الفرعية مثل blog.example.com تحتاج إلى ملف خاص بها.