اكتشف العديد من مديري المواقع أن مواقعهم اختفت فجأة من نتائج بحث جوجل. السبب المحتمل وراء ذلك هو أن جدار حماية Cloudflare قد قام بحظر زاحف جوجل (Googlebot) عن طريق الخطأ، مما أدى إلى عدم قدرة محركات البحث على الزحف إلى الصفحات بشكل صحيح.
نظرًا لأن قواعد الحماية الافتراضية في Cloudflare صارمة إلى حد ما، خاصة تجاه عناوين IP الخاصة بالزواحف التي تزور الموقع بشكل متكرر، فإن أي خطأ بسيط قد يؤدي إلى حظر جدار الحماية، مما يسبب تأخيرًا في الأرشفة أو حتى انخفاضًا حادًا في ترتيب الكلمات المفتاحية.
في هذا المقال، سنشرح من خلال 4 خطوات عملية، كيفية التحقق من سبب الحظر، وضبط الإعدادات الأساسية لجدار الحماية، ثم إعداد قائمة بيضاء دقيقة للزواحف، لحل مشكلة أرشفة جوجل الناجمة عن قواعد Cloudflare.
تأكد أولاً مما إذا كان الحظر حقيقيًا
يقوم العديد من مديري المواقع بتعديل الإعدادات بسرعة عند ملاحظة عدم أرشفة مواقعهم من جوجل، لكن في الواقع قد لا يكون Cloudflare قد حظر الزاحف، أو قد تكون هناك مشاكل SEO أخرى مثل جودة المحتوى أو قيود robots.txt.
ابدأ بالتحقق مما إذا كان الحظر موجودًا فعلًا باستخدام الطرق التالية، لتجنب التعديل العشوائي الذي قد يسبب مشاكل أكبر.
تقرير أخطاء الزحف في Google Search Console
- المسار: الدخول إلى لوحة تحكم GSC → الجانب الأيسر “الفهرسة” → “التغطية” → راجع صفحات “مستبعدة” وسجلات “فشل الزحف”.
- المؤشر الرئيسي: إذا ظهر نوع الخطأ “مرفوض” (403/5xx) أو “إعادة توجيه”، فهذا يشير إلى حظر جدار الحماية.
مقارنة سجلات جدار حماية Cloudflare
العملية: تسجيل الدخول إلى Cloudflare → “الأمان” → “الأحداث” → تصفية حسب الفترة الزمنية والبحث عن الطلبات التي تحتوي “User-Agent” على “Googlebot”.
ركز على الحالة:
- حظر (Block): حظر واضح (يجب السماح به)
- تحدي (Challenge): تفعيل التحقق (قد يؤثر على فعالية الزحف)
- تحدي JS (JS Challenge): فحص المتصفح (قد يؤدي إلى فشل زحف النسخة المحمولة)
استخدام أداة الاختبار الرسمية من جوجل
- رابط الأداة: https://search.google.com/search-console/inspect
- أدخل رابط الصفحة المحجوبة، واضغط على “اختبار الرابط الفعلي”، ثم راقب النتيجة:
- إذا ظهر “غير قادر على الزحف” (Crawl blocked)، تأكد من رمز الاستجابة HTTP (مثل 403).
التمييز بين “تحدي التحقق” و”الحظر الكامل”
تحدي التحقق (CAPTCHA Challenge): يتلقى الزاحف صفحة تحقق (كود 200 لكن المحتوى عبارة عن تحقق)، لا يستطيع جوجل تحليلها، مما يؤدي إلى فشل الأرشفة.
الحظر الكامل (Complete Block): يتم إرجاع خطأ 403/5xx مباشرة، ولا يستطيع الزاحف الحصول على أي محتوى.
فحص إعدادات جدار حماية Cloudflare الأساسية
إعدادات الأمان الافتراضية في Cloudflare تحمي الموقع جيدًا، لكنها قد “تضر” زاحف جوجل بالخطأ.
السلوك المتكرر للزحف يُعتبر غالبًا هجومًا، مما يؤدي إلى تقييد أو حظر الزاحف.
يجب فحص 4 إعدادات أساسية أولًا، وتعديلها ببساطة لتقليل احتمالية الحظر بشكل كبير.
تعديل مستوى الأمان (Security Level)
- المشكلة: تعيين المستوى على “مرتفع” أو “مرتفع جدًا” قد يحظر أكثر من 30% من طلبات الزواحف الشرعية.
- الإجراء: في لوحة تحكم Cloudflare → “الأمان” → “الإعدادات” → قم بتخفيض مستوى الأمان إلى “متوسط” أو “منخفض”.
- ملاحظة: بعد التعديل، راقب سجلات الهجمات، ويمكنك استخدام قواعد مخصصة لحجب التهديدات الحقيقية بدقة.
إيقاف الحظر الجغرافي المفرط
- المخاطر: إذا تم تفعيل “حظر المناطق” ومنع شبكات أمريكا الشمالية وأوروبا، قد تحظر زاحف جوجل بالخطأ (خوادم جوجل في الولايات المتحدة).
- الإجراء: في “الأمان” → “WAF” → “المناطق”، قم بإيقاف الحظر الجغرافي أو استثناء ASN15169 (شبكة جوجل).
إيقاف وضع “Under Attack” (الدرع الأحمر)
- التأثير: هذا الوضع يجبر كل الزوار على المرور عبر تحقق (صفحة انتظار 5 ثوانٍ)، ولا يمكن لزاحف جوجل اجتياز هذا، مما يؤدي إلى حظر كامل.
- الإجراء: على الصفحة الرئيسية في Cloudflare، تأكد من إيقاف وضع “Under Attack”.
تعطيل تحدي JS لمحركات البحث
خطأ فادح: تفعيل “فحص سلامة المتصفح” قد يمنع بعض الزواحف (خصوصًا Googlebot المحمول) من تنفيذ جافاسكريبت وبالتالي يفشل الزحف.
الإجراء: في “الأمان” → “الإعدادات”، قم بتعطيل هذا الفحص لمحركات البحث.
ملاحظة إضافية: يمكن إنشاء قاعدة خاصة لتعطيل تحدي JS للطلبات التي تحتوي “User-Agent” على “Googlebot”.
قواعد جدار الحماية اللازمة لإضافة استثناءات (Whitelist)
خفض مستوى الأمان قد يعرض الموقع لمخاطر. الحل الأمثل هو إضافة استثناءات دقيقة للزاحف جوجل.
يدعم Cloudflare إنشاء قواعد استنادًا إلى User-Agent، مصدر IP، وASN (رقم النظام المستقل).
استثناء User-Agent (الأولوية القصوى)
وظيفة القاعدة: السماح مباشرة لجميع الطلبات التي تحتوي “Googlebot” في User-Agent، لتجاوز فحص جدار الحماية.
كيفية الإعداد:
لوحة تحكم Cloudflare → “الأمان” → “WAF” → “القواعد” → إنشاء قاعدة جديدة
- الحقل:
User-Agentيحتوي → أدخل التعبير العادي:.*Googlebot.* - الإجراء: اختر “تجاوز” أو “تخطي”
ملاحظة: تأكد من تغطية كل المتغيرات مثل Googlebot-Image (زاحف الصور)، Googlebot Smartphone (المحمول) وغيرها.
استثناء ASN (لحماية ضد تزوير User-Agent)
الأهمية: يمكن لبعض الزواحف الخبيثة انتحال User-Agent “Googlebot”، لذا من الضروري التحقق من مصدر IP عبر ASN.
كيفية الإعداد: أضف شرطًا في قاعدة جدار الحماية:
- الحقل:
ASNيساوي15169(رقم ASN الخاص بخوادم جوجل)
لاحظ العديد من مديري المواقع أن مواقعهم اختفت فجأة من نتائج بحث جوجل. السبب المحتمل هو أن جدار حماية Cloudflare قد حظر روبوت جوجل (Googlebot) عن طريق الخطأ، مما يمنع محركات البحث من الزحف إلى صفحات الموقع بشكل صحيح.
نظرًا لأن قواعد الحماية الافتراضية لـ Cloudflare صارمة إلى حد ما، خاصة تجاه عناوين IP للروبوتات التي تزور الموقع بشكل متكرر، فمن السهل أن يتم حظر الروبوت عن طريق جدار الحماية. هذا قد يؤدي إلى تأخير في الأرشفة أو حتى انخفاض حاد في ترتيب الكلمات المفتاحية.
في هذا المقال سنمر بـ 4 خطوات عملية، من فحص سبب الحظر، تعديل إعدادات جدار الحماية الأساسية، إلى إعداد قائمة بيضاء دقيقة للروبوتات، لحل مشكلة عدم أرشفة جوجل الناتجة عن قواعد Cloudflare.
تأكد أولاً ما إذا كان الحظر قد حدث فعلاً
الكثير من مديري المواقع يغيرون الإعدادات بسرعة عندما يلاحظون أن موقعهم غير مؤرشف في جوجل. لكن في الواقع، قد لا يكون Cloudflare قد حظر الروبوت، وربما تكون المشكلة من قضايا SEO أخرى مثل جودة المحتوى أو قيود ملف robots.txt.
إليك كيفية التحقق من وجود الحظر لتجنب تغييرات عشوائية تزيد المشكلة سوءًا.
تقرير أخطاء الزحف في Google Search Console
- المسار: ادخل إلى لوحة GSC → القائمة اليسرى “الفهرسة” → “التغطية” → تحقق من صفحات “مستبعدة” وابحث عن “فشل الزحف”.
- المؤشرات: إذا كان نوع الخطأ “مرفوض” (403/5xx) أو “إعادة توجيه”، فذلك يعني احتمال وجود حظر من جدار الحماية.
قارن مع سجلات جدار حماية Cloudflare
الطريقة: سجل دخول إلى Cloudflare → اذهب إلى “الأمان” → “الأحداث” → حدد فترة زمنية → ابحث عن طلبات تحتوي على “User-Agent” فيه “Googlebot”.
انتبه إلى الحالة:
- حظر (Block) : حظر واضح (يحتاج للسماح)
- تحدي (Challenge) : طلب رمز التحقق (قد يؤثر على فعالية الروبوت)
- تحدي JS (JS Challenge) : فحص المتصفح (قد يسبب فشل الروبوت على الموبايل)
استخدم أداة الاختبار الرسمية من جوجل
- الرابط: https://search.google.com/search-console/inspect
- أدخل رابط الصفحة المحظورة واضغط “اختبار عنوان URL الحقيقي”.
- إذا ظهر “لا يمكن الزحف” (Crawl blocked) مع رمز استجابة HTTP مثل 403، فالحظر مؤكد.
فرق بين “تحدي رمز التحقق” و”الحظر الكامل”
تحدي رمز التحقق: يتلقى الروبوت صفحة رمز تحقق (الرد 200 لكن المحتوى هو صفحة التحقق)، وجوجل لا يمكنه قراءتها مما يسبب فشل الأرشفة.
الحظر الكامل: رد برموز 403 أو 5xx، ولا يستطيع الروبوت الحصول على أي محتوى.
افحص إعدادات جدار حماية Cloudflare الأساسية
إعدادات الحماية الافتراضية في Cloudflare تحمي موقعك لكنها قد تسبب “حظر خاطئ” لـ Googlebot.
خصوصًا عند الزيارات المتكررة العالية التي قد تُعتبر هجومًا، مما يؤدي إلى تحديد سرعة أو حظر الروبوت.
يجب مراجعة وتعديل هذه الإعدادات الأساسية الأربعة لتقليل احتمالية الحظر الخاطئ.
تعديل مستوى الأمان (Security Level)
- المشكلة: عندما يكون المستوى “مرتفع” أو “عالي جدًا”، قد يتم حظر أكثر من 30% من طلبات الروبوتات الشرعية.
- الإجراء: ادخل إلى لوحة تحكم Cloudflare → “الأمان” → “الإعدادات” → خفف مستوى الأمان إلى “متوسط” أو “منخفض”.
- ملاحظة: بعد التعديل راقب سجلات الهجمات، واستخدم قواعد مخصصة للحماية الدقيقة.
إيقاف حظر المناطق الذي قد يحظر Googlebot
- المخاطر: إذا كان “حظر المناطق” مفعلًا ويشمل حجب IP من أمريكا الشمالية أو أوروبا، فقد يتم حظر Googlebot (غالبًا ما تكون سيرفراته في أمريكا).
- الإجراء: في “الأمان” → “WAF” → “المناطق” → افحص إن كان الحظر مفعلًا، ويفضل إيقافه مؤقتًا أو استثناء ASN15169 (شبكة جوجل).
إيقاف وضع “تحت الهجوم” (Under Attack Mode)
- التأثير: هذا الوضع يجبر الزوار على اجتياز صفحة تحقق لمدة 5 ثوان، وروبوت جوجل لا يستطيع تجاوزها مما يسبب حظرًا كاملاً.
- الإجراء: من صفحة Cloudflare الرئيسية، تأكد من إيقاف هذا الوضع.
تعطيل تحدي JavaScript للمحركات البحث
الخطأ الخطير: ميزة “فحص سلامة المتصفح” تتطلب تشغيل جافاسكريبت، والروبوت Googlebot للموبايل لا يستطيع تنفيذه مما يفشل الزحف.
الإجراء: في “الأمان” → “الإعدادات” → “فحص سلامة المتصفح” → فعل خيار “عدم التطبيق على محركات البحث”.
ملاحظة: يمكن تعطيل تحدي JS لطلبات تحتوي على User-Agent بها Googlebot.
قواعد جدار الحماية التي يجب إعدادها لقائمة السماح
خفض مستوى الأمان قد يعرض الموقع للمخاطر، والخيار الأمثل هو إنشاء قواعد تسمح بدقة مرور Googlebot.
Cloudflare يدعم إنشاء قوائم بيضاء على أساس User-Agent، مصدر IP، أو ASN.
قائمة بيضاء User-Agent (الأولوية العليا)
الدور: السماح فورًا لكل الطلبات التي تحمل Googlebot في الـ User-Agent، لتجاوز جدار الحماية.
الطريقة:
Cloudflare → “الأمان” → “WAF” → “القواعد” → إنشاء قاعدة جديدة
- الحقل:
User-Agent→ “يحتوي على” → التعبير النمطي:.*Googlebot.* - الإجراء: اختر “تجاوز” أو “تخطي”
ملاحظة: تأكد من شمول المتغيرات مثل Googlebot-Image (روبوت الصور) وGooglebot Smartphone (الموبايل).
السماح حسب ASN (لمنع انتحال User-Agent)
الضرورة: هناك روبوتات خبيثة قد تزيف User-Agent كـ Googlebot، لذا يجب التحقق من مصدر IP.
الطريقة: أضف شرط في القاعدة:
- الحقل:
ASN→ “يساوي” →15169(رقم ASN الخاص بجوجل)
