多くのウェブマスターが、サイトが突然Google検索結果から「消えた」と感じることがあります。その原因の一つとして、CloudflareのファイアウォールがGoogleのクローラー（Googlebot）を誤ってブロックしている可能性があります。これにより、検索エンジンが正常にページをクロールできなくなるのです。
Cloudflareのデフォルトのセキュリティルールは比較的厳しく、特に高頻度でアクセスするクローラーのIPアドレスに対しては、わずかな違反でもファイアウォールによってブロックされる恐れがあります。軽度なケースではインデックスの遅延、深刻な場合は検索順位が大きく下落する可能性があります。
この記事では、実践的な4つのステップを通じて、Cloudflareのルールによって発生したGoogleのインデックス問題を解決する方法を解説します。ブロック原因の確認から、基本設定の調整、クローラー用ホワイトリストの設定まで、段階的に手取り足取りご紹介します。
まず本当にブロックされているかを確認
多くのウェブマスターは、Googleにインデックスされないとすぐに設定を変更しようとしますが、実際にはCloudflareがクローラーをブロックしていない可能性や、コンテンツの品質やrobots.txtの制限など、他のSEO問題が原因かもしれません。
以下の方法でブロックが本当に発生しているかを確認し、無駄な設定変更でさらなる問題を引き起こさないようにしましょう。
Google Search Consoleのクロールエラー確認
- 手順：GSCダッシュボード → 左側の「インデックス」 → 「ページ」 → 「除外済み」ページ内の「クロールエラー」確認
- 重要なポイント：エラータイプが「アクセス拒否（403/5xx）」または「リダイレクト済み」となっている場合、ファイアウォールによるブロックの可能性があります。
Cloudflareのファイアウォールログとの照合
操作方法：Cloudflareにログイン → 「セキュリティ」 → 「イベント」 → 期間指定 → 「User-Agent」に「Googlebot」を含むリクエストを検索
以下のステータスに注目：
- Block：完全なブロック（解除が必要）
- Challenge：CAPTCHAを表示（クロール効率に悪影響）
- JS Challenge：JavaScriptによる確認（モバイル版Googlebotが失敗する可能性）
Googleの公式テストツールを使う
- ツールURL：https://search.google.com/search-console/inspect
- ブロックされた可能性のあるページのURLを入力 → 「実際のURLをテスト」クリック → 結果を確認
- 「クロールできません」と表示された場合、下部に表示されるHTTPステータス（例：403）で判断
「CAPTCHA」と「完全ブロック」を区別する
CAPTCHAチャレンジ：GooglebotがCAPTCHAページを受信（HTTP200だが実際は認証要求）→ インデックスされない
完全ブロック：403または5xxエラーを返す → クローラーはページを取得できない
Cloudflareの基本設定を見直す
Cloudflareのデフォルト設定はウェブサイトを保護するものですが、Googlebotを誤ってブロックしてしまうケースもあります。
特に、頻繁なクロール行為が攻撃と判定されると、制限やブロックにつながることがあります。
以下の4つの基本設定を見直すことで、誤ブロックの可能性を大幅に減らすことができます。
セキュリティレベルの調整
- 問題点：「高」や「非常に高」に設定されている場合、正当なGooglebotリクエストの30%以上がブロックされる可能性があります。
- 対処法：Cloudflareダッシュボード → 「セキュリティ」 → 「設定」 → セキュリティレベルを「中」または「低」に調整
- 注意点：レベルを下げた後はログを確認し、カスタムルールで本当の脅威のみを遮断するようにしてください。
地域ブロックによる誤検出を防ぐ
- リスク：「地域ブロック」で北米・ヨーロッパIPを遮断していると、Googlebotがブロックされる可能性あり（Googleのサーバーは主に米国に設置）
- 対策：「セキュリティ」 → 「WAF」 → 「地域」 → 地域ブロックが有効になっているかを確認し、一時的に無効化またはASN15169（Google専用ネットワーク）を除外
Under Attackモード（赤い盾アイコン）を無効にする
- 影響：すべての訪問者に対して5秒のJS検証ページが表示されるが、Googlebotはこれを通過できず、完全にブロックされる
- 設定方法：Cloudflareダッシュボードのホーム → 「Under Attack Mode」スイッチ → オフにする
検索エンジン向けのJSチャレンジを無効に
致命的なミス：「ブラウザ整合性チェック」を有効にすると、一部のGooglebot（特にモバイル版）がJSを実行できず、クロールに失敗
操作：「セキュリティ」 → 「設定」 → 「ブラウザ整合性チェック」で「検索エンジンには適用しない」にチェック
補足：User-AgentにGooglebotを含むリクエストに対して、JSチャレンジを個別に無効化するルールも追加可能
必ず設定すべきファイアウォールのホワイトリストルール
セキュリティレベルを単純に下げると、ウェブサイトがリスクにさらされます。より安全な方法は、Googlebotのみを正確に許可するホワイトリスト設定です。
Cloudflareでは、User-Agent、IP、ASN（自律システム番号）を使ってホワイトリストを作成できます。
User-Agentホワイトリスト（最も優先）
ルールの目的：Googlebotを含むリクエストをファイアウォールチェックなしで通過させる
操作手順：
Cloudflareダッシュボード → 「セキュリティ」 → 「WAF」 → 「ルール」 → 新しいルールを作成
- フィールド：
User-Agent→を含む→ 正規表現入力：.*Googlebot.* - 動作：「バイパス」または「スキップ」を選択
注意：Googlebot-Image（画像ボット）、Googlebot Smartphone（モバイル版）などのバリエーションも同時に許可すること
ASNホワイトリスト（User-Agent偽装対策）
重要性：悪意のあるボットがGooglebotのUser-Agentを偽装することがあるため、IPの発信元も確認が必要
操作方法：ファイアウォールルールに以下の条件を追加
- フィールド：
ASN→等しい→15169を入力（GoogleのグローバルネットワークASN）
多くのウェブマスターが、自分のサイトが突然Googleの検索結果から“消えた”と感じる原因のひとつは、CloudflareのファイアウォールがGooglebot（Googleのクローラー）を誤ってブロックしていることにあるかもしれません。
Cloudflareのデフォルト設定は比較的厳しく、特に頻繁にアクセスするクローラーのIPに対しては、少しの違反でもファイアウォールが反応してしまいます。その結果、インデックスが遅れたり、キーワード順位が急落する原因になることもあります。
この記事では実践的な4つのステップを通じて、Cloudflareの設定によるGoogleインデックス問題を手取り足取り解決していきます。ブロック原因の確認から基本設定の見直し、Googlebotを正しく許可するホワイトリストの作成まで、順を追って解説します。
まず本当にブロックされているか確認する
多くのサイト管理者はGoogleにインデックスされていないと気づいた瞬間に設定をいじろうとしますが、実際にはCloudflareがクローラーをブロックしていない場合や、他のSEOの問題（例：コンテンツの質、robots.txtの制限）が原因のこともあります。
以下の方法で、実際にブロックされているかを先に確認しましょう。無用な設定変更でトラブルを広げるのを避けられます。
Google Search Consoleのクロールエラーレポート
- 操作手順：GSCにログイン → 左メニュー「インデックス」→「ページ」→「除外済み」の中にある「クロールエラー」を確認
- 注目ポイント：エラータイプが「アクセス拒否」（403/5xx）または「リダイレクト」になっていれば、ファイアウォールの影響が疑われます
Cloudflareのファイアウォールログと比較
操作方法：Cloudflareにログイン → 「セキュリティ」→「イベント」→ 時間範囲を設定し、「User-Agent」に「Googlebot」を含むリクエストを検索
特に以下のステータスを確認：
- Block：完全にブロックされている（許可が必要）
- Challenge：CAPTCHAが表示されている（クロール効率に影響）
- JS Challenge：JavaScript検証あり（モバイル版Googlebotが失敗しやすい）
Google公式のURL検査ツールを使う
- ツールURL：https://search.google.com/search-console/inspect
- インデックスされないページのURLを入力し、「公開URLをテスト」をクリック
- 「クロールできません（Crawl blocked）」と表示され、HTTPレスポンスが403などであればブロック確定
「CAPTCHA」と「完全ブロック」の違いを知る
CAPTCHAチャレンジ：クローラーにCAPTCHAページが返される（ステータスコードは200でも、実際の内容はCAPTCHA）→Googleは内容を解析できず、インデックス失敗
完全ブロック：403や5xxなどのエラーが返されるため、クローラーは何の情報も取得できない
Cloudflareの基本ファイアウォール設定を確認
Cloudflareのデフォルトセキュリティ設定は確かに安全ですが、Googlebotを「誤って」ブロックしてしまう可能性があります。
特にGoogleクローラーの頻繁なアクセスは攻撃と見なされることがあり、レート制限やブロックの対象になりやすいです。
まずは以下の4つの基本設定を確認し、必要に応じて調整しましょう。簡単な見直しだけでも誤検知の確率は大きく下がります。
Security Level（セキュリティレベル）の調整
- 問題点：「高」や「非常に高」に設定していると、合法的なクローラーの30%以上がブロックされることもあります
- 操作方法：Cloudflareダッシュボード →「セキュリティ」→「設定」→「セキュリティレベル」を「中」または「低」に変更
- 注意点：設定を下げた後も、攻撃ログを定期的に確認し、カスタムルールで真の脅威だけを絞り込みましょう
地域ブロックによる誤検知の回避
- リスク：地域ブロック機能で北米やヨーロッパのIPをブロックしていると、Googlebotまでブロックされる（Googlebotは主に米国に拠点）
- 操作方法：「セキュリティ」→「WAF」→「地域」→ 地域ブロックの設定を確認、可能であれば無効化かASN15169（Google専用ネットワーク）を除外指定
Under Attack Mode（攻撃対策モード）をOFFにする
- 影響：全アクセスに対し5秒間のページ検証が入るが、Googlebotはこれを通過できず完全ブロックされてしまう
- 操作方法：Cloudflare管理画面トップ →「Under Attack Mode」がオフになっているか確認
検索エンジンへのJS Challengeを無効化
致命的な問題：「ブラウザ整合性チェック」をオンにすると、一部のクローラー（特にモバイルGooglebot）がJSを実行できずクロール失敗
操作方法：「セキュリティ」→「設定」→「ブラウザ整合性チェック」→「検索エンジンには適用しない」にチェック
補足：User-AgentにGooglebotを含むリクエストに対して、JS Challengeを個別に無効化するルールも有効です。
Googlebot専用のホワイトリストルールを設定する
セキュリティレベルを単に下げるのではなく、Googlebotのみを的確に許可することで、リスクを抑えながら検索エンジンへの対応を最適化できます。
Cloudflareでは、User-Agent・IP・ASN（自律システム番号）などの条件でホワイトリストを作成できます。
User-Agentによるホワイトリスト（最優先）
ルールの目的：Googlebotを含む全リクエストを直接許可し、ファイアウォールの検査をスキップ
操作方法：
Cloudflare管理画面 →「セキュリティ」→「WAF」→「ルール」→ 新しいルールを作成
- 条件：
User-Agent→含む→ 正規表現：.*Googlebot.*を入力 - アクション：「バイパス」または「スキップ」を選択
注意点：Googlebot-Image（画像クローラー）、Googlebot Smartphone（モバイルクローラー）などのバリエーションも対象に含めてください。
ASNホワイトリスト（User-Agent偽装対策）
必要性：悪意のあるボットがGooglebotのUAを偽装する可能性があるため、IP元情報をあわせて確認することで安全性が向上します
設定方法：ファイアウォールルールに以下の条件を追加：
- フィールド：
ASN→等しい→15169（Googleのグローバルサーバー用ASN）
