ผู้ดูแลเว็บไซต์จำนวนมากพบว่าเว็บไซต์ของตนหายไปจากผลการค้นหาของ Google อย่างกะทันหัน สาเหตุเบื้องหลังอาจเป็นเพราะ Cloudflare ป้องกันบอตของ Google (Googlebot) โดยไม่ตั้งใจ ทำให้เครื่องมือค้นหาไม่สามารถเข้าถึงหน้าเว็บไซต์ได้ตามปกติ
เนื่องจากกฎการป้องกันของ Cloudflare ค่อนข้างเข้มงวด โดยเฉพาะกับ IP ที่เข้าถึงบ่อยอย่างบอต หากไม่มีการตั้งค่าอย่างระมัดระวัง อาจทำให้เกิดการบล็อกโดยไม่ตั้งใจ ส่งผลให้ Google จัดเก็บข้อมูลล่าช้า หรือหนักกว่านั้นคืออันดับคำค้นหาตกฮวบ
บทความนี้จะสอนแบบลงมือปฏิบัติทั้งหมด 4 ขั้นตอน ตั้งแต่การตรวจสอบสาเหตุของการบล็อก การปรับแต่งการตั้งค่าพื้นฐานของ Cloudflare ไปจนถึงการสร้างรายการอนุญาตเฉพาะบอตของ Google เพื่อแก้ไขปัญหาการจัดทำดัชนีเว็บไซต์ที่เกิดจาก Cloudflare อย่างเป็นระบบ
ตรวจสอบก่อนว่าโดนบล็อกจริงหรือไม่
ผู้ดูแลเว็บไซต์หลายคนรีบเปลี่ยนการตั้งค่าเมื่อพบว่าเว็บไซต์ไม่ถูกจัดทำดัชนีใน Google ทั้งที่จริงแล้วอาจไม่ใช่เพราะ Cloudflare บล็อก อาจเป็นปัญหา SEO อื่น เช่น คุณภาพเนื้อหา หรือ robots.txt ปิดกั้น
ให้ตรวจสอบตามขั้นตอนต่อไปนี้ก่อน เพื่อหลีกเลี่ยงการเปลี่ยนค่าผิด ๆ ซึ่งอาจทำให้ปัญหาเลวร้ายลง
รายงานข้อผิดพลาดในการรวบรวมข้อมูลจาก Google Search Console
- เส้นทาง: เข้าสู่ระบบ GSC → เมนูด้านซ้าย “การจัดทำดัชนี” → “หน้า” → ตรวจดูหน้าที่อยู่ในกลุ่ม “ถูกยกเว้น” ที่มีข้อผิดพลาด
- ตัวบ่งชี้หลัก: หากข้อความแสดงข้อผิดพลาดเป็น “ปฏิเสธการเข้าถึง” (403/5xx) หรือ “ถูกเปลี่ยนเส้นทาง” อาจเป็นเพราะถูก Cloudflare บล็อก
ตรวจสอบบันทึกไฟร์วอลล์ของ Cloudflare
วิธีการ: เข้าสู่ระบบ Cloudflare → ไปที่ “ความปลอดภัย” → “เหตุการณ์” → เลือกช่วงเวลา → ค้นหา “User-Agent” ที่มีคำว่า “Googlebot”
ดูสถานะที่สำคัญ:
- Block: บล็อกโดยสมบูรณ์ (ต้องปลดล็อก)
- Challenge: แสดง CAPTCHA (ทำให้บอตทำงานช้าลง)
- JS Challenge: ตรวจสอบผ่าน JavaScript (Googlebot บนมือถืออาจล้มเหลว)
ใช้เครื่องมือตรวจสอบ URL จาก Google
- ลิงก์เครื่องมือ: https://search.google.com/search-console/inspect
- ใส่ URL ที่คิดว่าถูกบล็อก → คลิก “ทดสอบ URL จริง” → สังเกตผลลัพธ์
- หากแสดงว่า “ไม่สามารถรวบรวมข้อมูลได้” (Crawl blocked) ให้ดูโค้ดตอบกลับ HTTP เช่น 403 เพื่อยืนยัน
แยกแยะ CAPTCHA กับการบล็อกแบบเต็ม
CAPTCHA: บอตได้รับหน้า CAPTCHA (HTTP 200 แต่แสดงแบบฟอร์ม) → Google ไม่สามารถอ่านเนื้อหาได้
การบล็อกเต็มรูปแบบ: ได้รับรหัสสถานะ 403 หรือ 5xx → บอตไม่สามารถดึงหน้าเพจได้เลย
ตรวจสอบการตั้งค่าพื้นฐานของ Cloudflare
แม้ว่า Cloudflare จะตั้งค่าความปลอดภัยมาปกป้องเว็บไซต์โดยอัตโนมัติ แต่ก็อาจทำให้ Googlebot ถูกบล็อกโดยไม่ได้ตั้งใจ โดยเฉพาะพฤติกรรมที่คล้ายการโจมตี เช่น การรวบรวมข้อมูลบ่อย
ควรตรวจสอบการตั้งค่าพื้นฐาน 4 ข้อต่อไปนี้ เพื่อป้องกันการบล็อกโดยไม่ตั้งใจ
ปรับระดับ Security Level
- ปัญหา: หากตั้งไว้ที่ “สูง” หรือ “สูงมาก” อาจบล็อกคำขอบอตถึง 30%
- วิธีตั้งค่า: เข้าหน้าแดชบอร์ด Cloudflare → “ความปลอดภัย” → “การตั้งค่า” → ตั้งค่าระดับเป็น “กลาง” หรือ “ต่ำ”
- หมายเหตุ: หลังปรับ ควรติดตามบันทึกการโจมตี และใช้กฎที่ปรับแต่งเองในการบล็อกภัยคุกคามจริง
ปิดการบล็อกตามภูมิภาคที่อาจผิดพลาด
- ความเสี่ยง: หากเปิด “บล็อกตามภูมิภาค” และบล็อก IP จากอเมริกาเหนือหรือยุโรป บอตของ Google ซึ่งมาจากสหรัฐอเมริกา อาจถูกบล็อก
- การตั้งค่า: ไปที่ “ความปลอดภัย” → “WAF” → “ภูมิภาค” → ตรวจดูว่ามีการตั้งค่าบล็อกหรือไม่ แนะนำให้ปิดชั่วคราว หรือยกเว้น ASN15169 (เครือข่าย Google)
ปิดโหมด Under Attack (ไอคอนโล่สีแดง)
- ผลกระทบ: โหมดนี้จะบังคับให้ผู้เข้าชมต้องผ่านการตรวจสอบ 5 วินาที Googlebot ไม่สามารถผ่านได้ และถูกบล็อกทันที
- วิธีปิด: บนหน้าแรกของ Cloudflare → ปิดสวิตช์ “Under Attack Mode”
ปิด JS Challenge สำหรับเครื่องมือค้นหา
ข้อผิดพลาดร้ายแรง: การเปิด “Browser Integrity Check” จะทำให้ Googlebot (โดยเฉพาะมือถือ) ไม่สามารถประมวลผล JS ได้และรวบรวมข้อมูลไม่สำเร็จ
การตั้งค่า: ไปที่ “ความปลอดภัย” → “การตั้งค่า” → “Browser Integrity Check” → เลือก “ไม่ใช้กับเครื่องมือค้นหา”
เสริม: สามารถตั้งกฎให้ User-Agent ที่มีคำว่า Googlebot ข้าม JS Challenge ได้
สร้างกฎไฟร์วอลล์ Whitelist ที่จำเป็น
การลดระดับความปลอดภัยลงอย่างเดียวอาจทำให้เว็บไซต์เสี่ยงต่อภัยคุกคาม แนะนำให้ใช้วิธีตั้งกฎ Whitelist แบบแม่นยำสำหรับ Googlebot โดยเฉพาะ
Cloudflare รองรับการสร้าง Whitelist จาก User-Agent, IP ต้นทาง หรือ ASN (หมายเลขระบบอัตโนมัติ)
Whitelist ด้วย User-Agent (สำคัญที่สุด)
ผลลัพธ์: อนุญาตคำขอที่มีคำว่า Googlebot โดยไม่ต้องตรวจสอบผ่านไฟร์วอลล์
วิธีการ:
ไปที่ Cloudflare Dashboard → “ความปลอดภัย” → “WAF” → “กฎ” → สร้างกฎใหม่
- เงื่อนไข:
User-Agent→มีคำว่า→ ใส่.*Googlebot.*(ใช้ regex) - การกระทำ: เลือก “Bypass” หรือ “Skip”
หมายเหตุ: อย่าลืมรวม Googlebot-Image, Googlebot Smartphone เป็นต้นใน whitelist ด้วย
Whitelist ด้วย ASN (ป้องกันการปลอม UA)
เหตุผล: บอทที่ไม่พึงประสงค์อาจปลอม User-Agent ให้เหมือน Googlebot ดังนั้นควรตรวจสอบ ASN
วิธีตั้งค่า: เพิ่มเงื่อนไขในกฎดังนี้
- เงื่อนไข:
ASN→เท่ากับ→ กรอก15169(ASN ของ Google ทั่วโลก)
ผู้ดูแลเว็บไซต์จำนวนมากพบว่า เว็บไซต์ของตนหายไปจากผลการค้นหาของ Google อย่างกะทันหัน สาเหตุหนึ่งอาจเป็นเพราะ Cloudflare Firewall บล็อก Googlebot (บ็อตของ Google) โดยไม่ได้ตั้งใจ ส่งผลให้ Google ไม่สามารถเข้าถึงหน้าเว็บได้ตามปกติ
เนื่องจากกฎความปลอดภัยเริ่มต้นของ Cloudflare ค่อนข้างเข้มงวด โดยเฉพาะกับ IP ของบ็อตที่เข้าถี่เกินไป อาจโดนป้องกันโดยระบบไฟร์วอลล์ ซึ่งเบา ๆ คือทำให้การจัดทำดัชนีล่าช้า หนักหน่อยคืออันดับคำค้นตกฮวบฮาบ
บทความนี้จะสอนคุณแบบจับมือทำผ่าน4 ขั้นตอนจริง ตั้งแต่การตรวจสอบว่าโดนบล็อกจริงไหม ปรับการตั้งค่าพื้นฐานของ Firewall ไปจนถึงการตั้ง Whitelist ให้บอทของ Google อย่างแม่นยำ
ก่อนอื่นต้องเช็คก่อนว่าโดนบล็อกจริงไหม
หลายคนพอเห็นว่าเว็บไซต์ไม่ถูกจัดทำดัชนีใน Google ก็รีบไปแก้การตั้งค่า แต่จริง ๆ แล้วอาจไม่ได้ถูก Cloudflare บล็อกก็ได้ หรืออาจเป็นปัญหา SEO อื่น ๆ เช่น คุณภาพเนื้อหา หรือไฟล์ robots.txt บล็อกไว้
ลองตรวจสอบตามขั้นตอนด้านล่างก่อน จะได้ไม่ปรับอะไรผิด ๆ จนทำให้ปัญหาหนักขึ้น
รายงานข้อผิดพลาดใน Google Search Console
- เส้นทาง: เข้าหลังบ้าน GSC → เมนูซ้าย “ดัชนี” → “ความครอบคลุม” → ดูหน้า “ถูกยกเว้น” แล้วเช็ค “ล้มเหลวในการรวบรวมข้อมูล”
- ตัวชี้วัดสำคัญ: ถ้าแสดงว่า “ถูกปฏิเสธ” (403/5xx) หรือ “มีการเปลี่ยนเส้นทาง” ก็อาจถูก Firewall บล็อก
ตรวจสอบกับ Log ของ Firewall ใน Cloudflare
ขั้นตอน: เข้าสู่ระบบ Cloudflare → ไปที่ “ความปลอดภัย” → “เหตุการณ์” → ตั้งช่วงเวลา แล้วค้นหาคำว่า “User-Agent” ที่มี “Googlebot”
ให้ดูสถานะดังนี้:
- Block: บล็อกชัดเจน (ต้องอนุญาต)
- Challenge: เจอ CAPTCHA (อาจทำให้ Googlebot ทำงานช้าลง)
- JS Challenge: ตรวจสอบผ่าน JavaScript (อาจทำให้ Googlebot มือถือล้มเหลว)
ใช้เครื่องมือทดสอบของ Google
- ลิงก์เครื่องมือ: https://search.google.com/search-console/inspect
- ใส่ URL ที่คิดว่าโดนบล็อก → กด “ทดสอบ URL จริง” → ดูผลลัพธ์
- ถ้าระบุว่า “Crawl blocked” (ถูกบล็อกการเข้าถึง) และแสดงรหัส HTTP เช่น 403 ก็ยืนยันได้ว่าโดนบล็อก
แยกแยะ CAPTCHA กับ บล็อกจริง
CAPTCHA: บอทเจอหน้า CAPTCHA (รหัส 200 แต่เนื้อหาเป็น CAPTCHA) ทำให้ Google อ่านไม่ออก ไม่จัดทำดัชนี
บล็อกจริง: ได้รหัส 403 หรือ 5xx กลับมา → Googlebot ไม่สามารถโหลดเนื้อหาได้เลย
เช็คการตั้งค่าพื้นฐานของ Cloudflare Firewall
แม้ว่า Cloudflare จะช่วยป้องกันเว็บได้ดี แต่บางครั้งก็ “กันเกินเหตุ” ไปบล็อก Googlebot ด้วย
โดยเฉพาะพฤติกรรมการรวบรวมข้อมูลแบบถี่ ๆ อาจถูกมองว่าเป็นการโจมตี จนถูกจำกัดหรือบล็อก
ตั้งค่าพื้นฐาน 4 อย่างต่อไปนี้ ควรตรวจสอบและปรับอย่างเหมาะสม เพื่อลดความเสี่ยงโดนบล็อก
ปรับระดับ Security Level
- ปัญหา: ถ้าตั้งไว้ที่ “สูง” หรือ “สูงมาก” อาจบล็อกบ็อตดี ๆ กว่า 30%
- ขั้นตอน: เข้า Cloudflare → “ความปลอดภัย” → “การตั้งค่า” → ตั้งระดับความปลอดภัยเป็น “กลาง” หรือ “ต่ำ”
- หมายเหตุ: หลังปรับลด ควรดู log การโจมตี และใช้ “กฎกำหนดเอง” แยกแยะบ็อตไม่ดีออก
ปิดการบล็อกตามภูมิภาคที่อาจผิดพลาด
- จุดเสี่ยง: ถ้าเปิดบล็อก IP บางประเทศ เช่น สหรัฐฯ หรือยุโรป อาจทำให้บล็อก Googlebot ด้วย (Googlebot มาจากสหรัฐฯ เป็นหลัก)
- ขั้นตอน: เข้า “ความปลอดภัย” → “WAF” → “ภูมิภาค” → เช็คว่ามีการบล็อก IP หรือไม่ ถ้ามีให้ปิดชั่วคราวหรือยกเว้น ASN15169 (เครือข่าย Google)
ปิดโหมด Under Attack (โล่สีแดง)
- ผลกระทบ: โหมดนี้จะบังคับให้ผู้เข้าชมรอโหลด 5 วินาทีก่อนเข้าหน้าเว็บ แต่ Googlebot ไม่สามารถผ่านได้ ทำให้ถูกบล็อกแน่นอน
- ขั้นตอน: เข้าแดชบอร์ด Cloudflare → ปิดการใช้งานโหมด Under Attack
ปิด JS Challenge สำหรับบอท
ปัญหาร้ายแรง: ถ้าเปิด “Browser Integrity Check” จะทำให้บางบอท (โดยเฉพาะ Googlebot บนมือถือ) รัน JavaScript ไม่ได้ → เข้าเว็บไม่ผ่าน
ขั้นตอน: เข้า “ความปลอดภัย” → “การตั้งค่า” → ปิด “Browser Integrity Check” หรือเลือกให้ “ไม่ใช้กับเครื่องมือค้นหา”
เสริม: ตั้งค่าแยกต่างหากสำหรับ User-Agent ที่มี Googlebot เพื่อปิด JS Challenge เฉพาะบอท
ตั้งค่า Firewall Rules เพื่ออนุญาต Googlebot
ลดระดับความปลอดภัยอาจเสี่ยงเกินไป ทางที่ปลอดภัยกว่าคือ สร้างกฎ Firewall เพื่อ “อนุญาตเฉพาะ” Googlebot
Cloudflare รองรับการตั้ง whitelist ตาม User-Agent, IP, ASN (Autonomous System Number) เป็นต้น
Whitelist ด้วย User-Agent (แนะนำมากที่สุด)
วัตถุประสงค์: อนุญาตให้ทุก request ที่มี Googlebot ผ่าน firewall โดยไม่ตรวจสอบ
ขั้นตอน:
ไปที่ Cloudflare → “ความปลอดภัย” → “WAF” → “กฎ” → สร้างกฎใหม่
- เงื่อนไข:
User-Agent→contains→ ใส่ regex:.*Googlebot.* - การกระทำ: เลือก “Bypass” หรือ “Skip”
หมายเหตุ: อย่าลืมรวม Googlebot-Image (สำหรับภาพ), Googlebot Smartphone (สำหรับมือถือ) ด้วย
Whitelist ตาม ASN (ป้องกัน User-Agent ปลอม)
ความจำเป็น: บอทที่ไม่ดีอาจปลอม UA เป็น Googlebot จึงควรตรวจ IP ด้วยเพื่อเพิ่มความมั่นใจ
ขั้นตอน: ในกฎ firewall เพิ่มเงื่อนไขว่า:
- ฟิลด์:
ASN→เท่ากับ→15169(ASN ของ Google)
