कई वेबसाइट मालिकों को यह देखने को मिलता है कि उनकी साइट अचानक Google खोज परिणामों से “गायब” हो गई है। इसके पीछे का कारण बहुत संभव है कि Cloudflare फ़ायरवॉल ने ग़लती से Googlebot को ब्लॉक कर दिया, जिससे सर्च इंजन आपकी साइट को क्रॉल नहीं कर पाया।
Cloudflare की डिफ़ॉल्ट सुरक्षा नियम बहुत सख्त होते हैं, खासकर हाई-फ्रीक्वेंसी बॉट्स के लिए। थोड़ी सी चूक भी फ़ायरवॉल को ट्रिगर कर सकती है, जिससे Google की इंडेक्सिंग में देरी या कीवर्ड रैंकिंग में गिरावट आ सकती है।
यह लेख 4 व्यावहारिक चरणों में आपको Googlebot ब्लॉक समस्या को हल करने में मदद करेगा — जांच से लेकर फ़ायरवॉल सेटिंग समायोजन और विशिष्ट श्वेतसूची (whitelist) तक।
पहले यह पुष्टि करें कि वास्तव में ब्लॉक हुआ है या नहीं
कई बार जैसे ही वेबसाइट Google में इंडेक्स नहीं होती, लोग तुरंत सेटिंग बदलने लगते हैं। लेकिन समस्या Cloudflare से न होकर कंटेंट क्वालिटी या robots.txt जैसी SEO समस्याओं की भी हो सकती है।
नीचे दिए गए तरीकों से पुष्टि करें कि क्या वाकई में Googlebot को ब्लॉक किया गया है:
Google Search Console में क्रॉलिंग त्रुटियाँ देखें
- पथ: GSC में लॉगिन करें → “इंडेक्स” → “कवरेज” → “निष्कासित” में “क्रॉलिंग विफल” पृष्ठ देखें।
- महत्वपूर्ण संकेत: यदि त्रुटियाँ 403/5xx या रीडायरेक्ट जैसी हों, तो यह फ़ायरवॉल ब्लॉकिंग का संकेत हो सकता है।
Cloudflare फ़ायरवॉल लॉग्स की तुलना करें
प्रक्रिया: Cloudflare लॉगिन करें → “सुरक्षा” → “घटनाएं” → समय सीमा चुनें और “User-Agent” में “Googlebot” खोजें।
स्थिति पर ध्यान दें:
- Block: स्पष्ट ब्लॉक (छूट देनी होगी)
- Challenge: CAPTCHA दिखाया गया (क्रॉलिंग को धीमा कर सकता है)
- JS Challenge: JavaScript जांच (मोबाइल Googlebot को विफल कर सकता है)
Google की आधिकारिक परीक्षण टूल का उपयोग करें
- लिंक: https://search.google.com/search-console/inspect
- ब्लॉक हुई URL दर्ज करें और “लाइव URL का परीक्षण करें” पर क्लिक करें।
- यदि “Crawl blocked” और HTTP कोड 403 दिखता है, तो यह ब्लॉकिंग की पुष्टि करता है।
CAPTCHA और पूर्ण ब्लॉक में अंतर समझें
CAPTCHA चुनौती: Googlebot को CAPTCHA पृष्ठ मिलता है (200 कोड के साथ), जिसे वह नहीं पढ़ सकता, और इंडेक्सिंग विफल हो जाती है।
पूर्ण ब्लॉक: 403 या 5xx त्रुटियाँ मिलती हैं, जिससे Googlebot पृष्ठ की सामग्री प्राप्त नहीं कर पाता।
Cloudflare फ़ायरवॉल की मूलभूत सेटिंग्स की जाँच करें
Cloudflare की सुरक्षा सेटिंग्स अच्छे बॉट्स को भी गलती से रोक सकती हैं, जैसे Googlebot।
तेज़ गति से किए गए अनुरोधों को अक्सर हमले के रूप में देखा जाता है, जिससे Googlebot पर भी प्रतिबंध लग सकता है।
नीचे दी गई 4 बुनियादी सेटिंग्स की जाँच करें:
Security Level को समायोजित करें
- समस्या: यदि “उच्च” या “बहुत उच्च” पर सेट किया गया है, तो वैध Googlebot अनुरोधों का 30% तक अवरुद्ध हो सकता है।
- प्रक्रिया: Cloudflare में जाएं → “सुरक्षा” → “सेटिंग्स” → सुरक्षा स्तर को “मध्यम” या “निम्न” पर सेट करें।
- टिप: सेटिंग बदलने के बाद लॉग्स देखें और विशेष नियमों से वास्तविक हमलों को ही रोकें।
क्षेत्रीय ब्लॉकिंग की जाँच करें
- जोखिम: यदि आपने अमेरिका या यूरोप के IP ब्लॉक कर रखे हैं, तो Googlebot (जो मुख्यतः अमेरिका से आता है) अवरुद्ध हो सकता है।
- प्रक्रिया: “सुरक्षा” → “WAF” → “क्षेत्र” → क्षेत्रीय ब्लॉक को बंद करें या ASN 15169 को छूट में डालें।
Under Attack Mode बंद करें (लाल ढाल चिह्न)
- प्रभाव: यह मोड हर आगंतुक को 5-सेकंड सत्यापन में डालता है, जिसे Googlebot पार नहीं कर सकता।
- प्रक्रिया: Cloudflare डैशबोर्ड में “Under Attack Mode” स्विच बंद करें।
सर्च इंजन के लिए JS चुनौती बंद करें
गंभीर समस्या: यदि “Browser Integrity Check” चालू है, तो कुछ Googlebot संस्करण (विशेषकर मोबाइल) JS न चला पाने के कारण विफल हो सकते हैं।
प्रक्रिया: “सुरक्षा” → “सेटिंग्स” → “ब्राउज़र इंटेग्रिटी चेक” → “सर्च इंजन पर लागू न करें” चुनें।
पूरक: User-Agent में “Googlebot” होने पर JS चुनौती अक्षम करने के लिए अलग नियम बनाएं।
फ़ायरवॉल में Googlebot को श्वेतसूची में डालना आवश्यक
सिर्फ सुरक्षा स्तर को कम करना वेबसाइट को असुरक्षित बना सकता है। एक सुरक्षित उपाय यह है कि आप विशेष नियमों के माध्यम से Googlebot को स्वीकृति दें।
Cloudflare नियम User-Agent, IP, या ASN पर आधारित हो सकते हैं।
User-Agent श्वेतसूची (उच्च प्राथमिकता)
कार्य: ऐसे सभी अनुरोधों की अनुमति देना जिनमें “Googlebot” User-Agent हो।
प्रक्रिया: Cloudflare → “सुरक्षा” → “WAF” → “नया नियम बनाएं”
- फ़ील्ड:
User-Agent→शामिल है→.*Googlebot.*डालें - क्रिया: “बायपास” या “अनुमति दें” चुनें
ध्यान दें: Googlebot-Image और Googlebot Smartphone जैसे वेरिएंट को भी शामिल करें।
ASN के माध्यम से श्वेतसूची (UA Spoof से बचने के लिए)
महत्व: कुछ खराब बॉट “Googlebot” User-Agent का नकली उपयोग कर सकते हैं, लेकिन ASN नकली नहीं हो सकता।
प्रक्रिया: एक अतिरिक्त नियम जोड़ें:
- फ़ील्ड:
ASN→बराबर→15169(Google का ASN)
कई वेबसाइट मालिकों ने देखा है कि उनकी साइट अचानक Google खोज परिणामों से “गायब” हो गई है। इसके पीछे की एक आम वजह यह है कि Cloudflare का फ़ायरवॉल ग़लती से Googlebot को ब्लॉक कर रहा है, जिससे सर्च इंजन वेबसाइट के पेजों को ठीक से क्रॉल नहीं कर पाता।
Cloudflare की डिफ़ॉल्ट सुरक्षा सेटिंग्स काफी सख्त होती हैं, खासकर बार-बार एक्सेस करने वाले बॉट्स के लिए। ऐसे में अगर जरा सी भी चूक हुई तो फ़ायरवॉल Googlebot को ब्लॉक कर सकता है — जिससे या तो पेज इंडेक्स होने में देरी होती है या रैंकिंग एकदम गिर जाती है।
इस लेख में हम 4 स्टेप्स में आपको बताएंगे कि कैसे ब्लॉक की जांच करें, फ़ायरवॉल की बेसिक सेटिंग्स एडजस्ट करें, और Googlebot के लिए सफेदसूची (whitelist) बनाएं — ताकि Cloudflare के कारण होने वाली Google इंडेक्सिंग की समस्याओं को हल किया जा सके।
पहले यह सुनिश्चित करें कि वाकई में ब्लॉक हुआ है
अक्सर लोग यह देखते ही कि साइट Google में इंडेक्स नहीं हो रही, सेटिंग्स बदलना शुरू कर देते हैं। लेकिन हो सकता है कि दिक्कत फ़ायरवॉल की न हो — यह कंटेंट क्वालिटी, robots.txt जैसी SEO से जुड़ी दूसरी चीजें भी हो सकती हैं।
इसलिए पहले नीचे दिए गए तरीकों से चेक करें कि ब्लॉक सच में हुआ है या नहीं:
Google Search Console में क्रॉल एरर रिपोर्ट
- पथ: GSC डैशबोर्ड में जाएं → बाएं मेनू में “इंडेक्सिंग” → “कवरेज” → “निकाल दिए गए” पेज देखें
- मुख्य संकेत: अगर एरर में “रिजेक्टेड” (403/5xx) या “रीडायरेक्टेड” दिखता है, तो शायद यह फ़ायरवॉल ब्लॉक है
Cloudflare फ़ायरवॉल लॉग की तुलना करें
Cloudflare में लॉगिन करें → “सिक्योरिटी” → “इवेंट्स” → समय सीमा सेट करें → “User-Agent” में “Googlebot” ढूंढें
स्टेटस देखें:
- Block: पूरी तरह ब्लॉक (छूट दें)
- Challenge: कैप्चा दिया गया (क्रॉलिंग धीमा कर सकता है)
- JS Challenge: ब्राउज़र चेक (मोबाइल Googlebot को परेशानी हो सकती है)
Google की ऑफिशियल टेस्टिंग टूल का इस्तेमाल करें
- लिंक: https://search.google.com/search-console/inspect
- ब्लॉक हुए पेज का URL डालें और “Live Test” पर क्लिक करें
- अगर “Crawl blocked” दिखे और HTTP रिस्पॉन्स कोड 403 है, तो ब्लॉक कन्फर्म है
CAPTCHA और पूरा ब्लॉक में फर्क समझें
CAPTCHA चैलेंज: बॉट को कैप्चा पेज मिलता है (200 स्टेटस कोड, लेकिन पेज में कैप्चा है), जिससे Google क्रॉल नहीं कर पाता
पूरा ब्लॉक: 403 या 5xx स्टेटस कोड लौटता है — बॉट को कुछ नहीं मिलता
Cloudflare की फ़ायरवॉल बेसिक सेटिंग्स चेक करें
Cloudflare की डिफ़ॉल्ट सुरक्षा सेटिंग्स साइट को सुरक्षा देती हैं, लेकिन कभी-कभी Googlebot को गलती से ब्लॉक भी कर देती हैं।
अक्सर ज्यादा बार विजिट करने वाले बॉट्स को अटैक समझ लिया जाता है।
नीचे 4 बेसिक सेटिंग्स हैं, जिन्हें एडजस्ट करके आप गलत ब्लॉकिंग को काफी हद तक रोक सकते हैं:
Security Level (सुरक्षा स्तर) एडजस्ट करें
- समस्या: अगर यह स्तर “High” या “I’m under attack” पर है तो वैध Googlebot ट्रैफिक का 30% तक ब्लॉक हो सकता है
- कैसे ठीक करें: Cloudflare डैशबोर्ड → “Security” → “Settings” → Security Level को “Medium” या “Low” पर सेट करें
- ध्यान दें: इसके बाद लॉग्स देखें, और जरूरत होने पर कस्टम नियम बनाएं
गलत रीजन ब्लॉक्स को बंद करें
- जोखिम: अगर आपने अमेरिका या यूरोप के IPs को ब्लॉक किया है तो Googlebot (जो अमेरिका से आता है) को भी ब्लॉक किया जा सकता है
- कैसे ठीक करें: “Security” → “WAF” → “Regions” → ब्लॉक चेक करें, और ASN15169 (Google नेटवर्क) को एक्सक्लूड करें
Under Attack Mode बंद करें
- असर: यह मोड सभी विजिटर्स से पहले एक 5-सेकंड वेरिफिकेशन करवाता है, जिसे Googlebot पास नहीं कर पाता, और क्रॉल फेल हो जाता है
- कैसे बंद करें: Cloudflare डैशबोर्ड के होम पेज पर जाएं और “Under Attack Mode” को OFF करें
सर्च इंजनों के लिए JS चैलेंज को डिसेबल करें
खतरा: “Browser Integrity Check” ऑन होने से Googlebot मोबाइल जैसे बॉट JavaScript नहीं चला पाते और पेज फेल हो जाता है
कैसे करें: “Security” → “Settings” → “Browser Integrity Check” को ऐसे सेट करें कि यह सर्च इंजन पर लागू न हो
Extra: एक नियम बनाएं जो Googlebot User-Agent वाले ट्रैफ़िक के लिए JS चैलेंज को बायपास करे
Googlebot के लिए फ़ायरवॉल नियमों में छूट (Whitelist) देना ज़रूरी
सिर्फ सुरक्षा लेवल कम करना वेबसाइट को जोखिम में डाल सकता है। बेहतर है कि Googlebot को पहचान कर सिर्फ उसे अनुमति दें।
Cloudflare में आप User-Agent, IP और ASN जैसे पैरामीटर से नियम बना सकते हैं।
User-Agent व्हाइटलिस्ट (सबसे ज़रूरी)
फायदा: Googlebot वाला User-Agent मिलने पर फ़ायरवॉल उसे बायपास कर देता है
सेटअप: Cloudflare डैशबोर्ड → “Security” → “WAF” → “Rules” → नया नियम बनाएं
- फ़ील्ड:
User-Agent→ “contains” →.*Googlebot.* - एक्शन: “Bypass” या “Skip” चुनें
टिप: Googlebot-Image, Googlebot Smartphone जैसे वेरिएंट्स को भी शामिल करें
ASN व्हाइटलिस्ट (फेक Googlebot से बचाव)
क्यों ज़रूरी है: कई फेक बॉट Googlebot का User-Agent कॉपी कर सकते हैं, लेकिन IP असली नहीं होता
सेटअप:
- फ़ील्ड:
ASN→ “equals” →15169(Google का ASN)
