Le pare-feu Cloudflare bloque le robot Google｜Comment résoudre les problèmes d’indexation

Beaucoup de webmasters constatent que leur site disparaît soudainement des résultats de recherche Google. Cela est très probablement dû au fait que le pare-feu Cloudflare bloque par erreur le robot d’exploration de Google (Googlebot), empêchant ainsi les moteurs de recherche de crawler correctement les pages.

Comme les règles de protection par défaut de Cloudflare sont assez strictes, notamment pour les adresses IP des robots qui effectuent des accès fréquents, il suffit d’une petite maladresse pour déclencher un blocage par le pare-feu. Cela peut aller d’un retard d’indexation à une chute brutale du classement des mots-clés.

Dans cet article, nous allons, à travers 4 étapes pratiques, vous guider depuis la vérification des causes du blocage, l’ajustement des configurations de base du pare-feu, jusqu’à la mise en place précise d’une liste blanche pour les robots, afin de résoudre efficacement les problèmes d’indexation Google liés aux règles Cloudflare.

Vérifiez d’abord si vous êtes vraiment bloqué

Beaucoup de webmasters modifient précipitamment leurs paramètres dès qu’ils constatent que leur site n’est pas indexé par Google. Pourtant, il est possible que Cloudflare ne bloque pas le robot, ou que d’autres problèmes SEO (comme la qualité du contenu ou les restrictions du fichier robots.txt) soient en cause.

Commencez donc par vérifier le blocage réel avec les méthodes suivantes, pour éviter des manipulations inutiles et compliquées.

Rapport d’erreurs de crawl dans Google Search Console

• Chemin : connectez-vous à la GSC → “Index” à gauche → “Couverture” → vérifiez les pages “Exclues” et les erreurs de crawl.
• Indicateur clé : si le type d’erreur indique “Refusé” (403/5xx) ou “Redirigé”, il s’agit probablement d’un blocage par le pare-feu.

Comparer avec les logs du pare-feu Cloudflare

Procédure : connectez-vous à Cloudflare → “Sécurité” → “Événements” → filtrez la période et recherchez les requêtes avec “User-Agent” contenant “Googlebot”.

Regardez particulièrement le statut :

1. Block : blocage clair (doit être autorisé)
2. Challenge : déclenchement d’un CAPTCHA (peut affecter l’efficacité du crawl)
3. JS Challenge : vérification par navigateur (peut empêcher le crawl mobile)

Utiliser l’outil officiel de test Google

1. Adresse de l’outil : https://search.google.com/search-console/inspect
2. Entrez l’URL bloquée, cliquez sur “Tester l’URL en direct” et observez le résultat :
3. Si “Crawl bloqué” apparaît, confirmez avec le code HTTP (ex. 403).

Distinguer “challenge CAPTCHA” et “blocage complet”

Challenge CAPTCHA : le robot reçoit une page CAPTCHA (200 OK mais contenu CAPTCHA), Google ne peut pas l’analyser, ce qui cause l’échec d’indexation.

Blocage complet : réponse directe 403/5xx, le robot ne peut pas récupérer le contenu.

Vérifiez les réglages de base du pare-feu Cloudflare

Les réglages de sécurité par défaut de Cloudflare protègent bien le site, mais peuvent aussi “blesser” par erreur le robot Google.

Un crawl fréquent est souvent perçu comme une attaque, ce qui conduit à limiter ou bloquer le robot.

Les 4 réglages de base suivants doivent être vérifiés en priorité, et un simple ajustement réduit grandement le risque de blocage.

Ajuster le niveau de sécurité (Security Level)

1. Problème : un niveau “Élevé” ou “Très élevé” peut bloquer plus de 30 % des requêtes légitimes des robots.
2. Action : dans le tableau de bord Cloudflare → “Sécurité” → “Paramètres” → baissez le niveau de sécurité à “Moyen” ou “Faible”.
3. Attention : après baisse, surveillez les logs d’attaques et utilisez les règles personnalisées pour bloquer précisément les vraies menaces.

Désactiver le blocage géographique excessif

• Risque : bloquer les régions Amérique du Nord ou Europe peut bloquer par erreur Googlebot (dont les serveurs sont majoritairement américains).
• Action : dans “Sécurité” → “WAF” → “Géographie”, désactivez le blocage géographique ou excluez ASN15169 (réseau Google).

Désactiver le mode “Under Attack” (bouclier rouge)

• Impact : ce mode force tous les visiteurs à passer une vérification (page d’attente de 5 secondes), que Googlebot ne peut pas réussir, causant un blocage total.
• Action : sur la page d’accueil Cloudflare, désactivez le mode “Under Attack”.

Désactiver le challenge JS pour les moteurs de recherche

Erreur critique : la “vérification d’intégrité du navigateur” active peut empêcher certains robots (notamment Googlebot mobile) d’exécuter le JS et de crawler.

Action : dans “Sécurité” → “Paramètres”, désactivez cette vérification pour les moteurs de recherche.

Complément : créez une règle pour désactiver le challenge JS sur les requêtes avec User-Agent contenant Googlebot.

Règles de pare-feu à whitelist obligatoires

Réduire le niveau de sécurité peut exposer votre site à des risques. La méthode plus sûre est de mettre en place une whitelist précise pour Googlebot.

Cloudflare permet de créer des règles basées sur User-Agent, source IP et ASN (numéro d’AS).

Whitelist User-Agent (priorité maximale)

Rôle : autoriser toutes les requêtes contenant Googlebot dans le User-Agent, en contournant les contrôles du pare-feu.

Procédure :

Tableau de bord Cloudflare → “Sécurité” → “WAF” → “Règles” → Créer une nouvelle règle

• Champ : User-Agent contient → saisissez l’expression régulière .*Googlebot.*
• Action : choisissez “Bypass” ou “Skip”

Attention : incluez aussi Googlebot-Image (robot d’images), Googlebot Smartphone (mobile) et autres variantes.

Whitelist ASN (contre la falsification de User-Agent)

Nécessité : certains robots malveillants peuvent usurper le User-Agent Googlebot, il faut donc vérifier l’origine IP via ASN.

Procédure : ajoutez une condition dans la règle de pare-feu :

• Champ : ASN égal à 15169 (ASN Google officiel)

De nombreux webmasters constatent que leur site disparaît soudainement des résultats de recherche Google. La cause la plus probable est que le pare-feu Cloudflare bloque par erreur le robot d’exploration de Google (Googlebot), empêchant ainsi les moteurs de recherche de crawler correctement les pages.

Comme les règles de sécurité par défaut de Cloudflare sont assez strictes, surtout envers les adresses IP des robots qui effectuent de nombreuses requêtes, il est facile de déclencher une interception du pare-feu. Cela peut retarder l’indexation ou, dans le pire des cas, entraîner une chute brutale du classement des mots-clés.

Cet article vous guide à travers 4 étapes pratiques : identifier la cause du blocage, ajuster les paramètres de base du pare-feu, et configurer précisément une liste blanche pour les robots, afin de résoudre efficacement les problèmes d’indexation Google causés par les règles Cloudflare.

Vérifiez d’abord si un blocage a réellement eu lieu

Beaucoup de webmasters modifient leurs configurations dès qu’ils constatent que leur site n’est pas indexé par Google. Pourtant, Cloudflare ne bloque pas forcément le robot, le problème peut aussi venir d’autres aspects SEO (qualité du contenu, restrictions dans robots.txt, etc.).

Voici comment vérifier la présence d’un blocage pour éviter de faire des changements inutiles qui compliqueraient la situation.

Rapport d’erreurs d’exploration dans Google Search Console

• Chemin : dans la console GSC → “Index” à gauche → “Couverture” → regardez dans les pages “Exclues” la section “Échec d’exploration”.
• Indicateurs clés : si l’erreur est “Refusé” (403/5xx) ou “Redirection”, cela indique un blocage possible par le pare-feu.

Comparez avec les journaux du pare-feu Cloudflare

Procédure : connectez-vous à Cloudflare → “Sécurité” → “Événements” → filtrez par période → cherchez les requêtes avec “User-Agent” contenant “Googlebot”.

Focus sur le statut :

1. Block : blocage clair (à autoriser)
2. Challenge : CAPTCHA déclenché (peut ralentir le robot)
3. JS Challenge : vérification navigateur (peut bloquer surtout Googlebot mobile)

Utilisez l’outil officiel de test Google

1. Adresse : https://search.google.com/search-console/inspect
2. Entrez l’URL bloquée et cliquez sur “Test de l’URL en direct”.
3. Si le résultat indique “Impossible de crawler” (Crawl blocked) avec un code HTTP 403, le blocage est confirmé.

Distinguez CAPTCHA et blocage complet

Défi CAPTCHA : le robot reçoit une page CAPTCHA (statut 200 mais contenu CAPTCHA), Google ne peut pas la lire et ne l’indexe pas.

Blocage complet : code 403 ou 5xx, le robot ne récupère aucun contenu.

Vérifiez les réglages de base du pare-feu Cloudflare

La configuration de sécurité par défaut de Cloudflare protège votre site, mais peut aussi “blesser” involontairement Googlebot.

Une fréquence élevée de crawl peut être interprétée comme une attaque, et entraîner une limitation ou un blocage.

Ces 4 réglages de base doivent être vérifiés et ajustés pour réduire les faux positifs.

Ajustez le niveau de sécurité

1. Problème : un niveau “élevé” ou “très élevé” bloque plus de 30% des requêtes légitimes des robots.
2. Action : dans Cloudflare → “Sécurité” → “Paramètres” → régler le niveau sur “Moyen” ou “Faible”.
3. Note : après changement, surveillez les logs d’attaque et utilisez des règles personnalisées pour cibler les vraies menaces.

Désactivez les blocages régionaux qui pourraient bloquer Google

• Risque : si la “restriction géographique” bloque les IP d’Amérique du Nord ou d’Europe, cela peut bloquer Googlebot (qui utilise surtout des IP américaines).
• Action : dans “Sécurité” → “WAF” → “Zones” → vérifiez et désactivez ou excluez l’ASN15169 (réseau Google) des restrictions.

Désactivez le mode “Under Attack” (bouclier rouge)

• Impact : ce mode force tous les visiteurs à passer par une page d’attente de 5 secondes, que Googlebot ne peut pas franchir, causant un blocage total.
• Action : sur la page d’accueil Cloudflare, désactivez ce mode.

Désactivez le défi JS pour les moteurs de recherche

Erreur critique : la “vérification d’intégrité du navigateur” requiert l’exécution de JavaScript, ce que Googlebot mobile ne peut pas faire, provoquant un échec.

Action : dans “Sécurité” → “Paramètres” → “Vérification d’intégrité du navigateur” → cochez “Ne pas appliquer aux moteurs de recherche”.

Complément : vous pouvez aussi désactiver le défi JS pour les requêtes avec User-Agent contenant Googlebot.

Règles de pare-feu indispensables pour la liste blanche

Baisser la sécurité augmente les risques. La meilleure méthode est de créer des règles qui laissent passer précisément Googlebot.

Cloudflare permet de faire des listes blanches basées sur le User-Agent, la provenance IP, ou l’ASN.

Liste blanche User-Agent (priorité maximale)

Fonction : autorise directement toutes les requêtes avec Googlebot dans le User-Agent, sans passer par le pare-feu.

Comment faire :
Cloudflare → “Sécurité” → “WAF” → “Règles” → créer une nouvelle règle

• Champ : User-Agent → “contient” → expression régulière : .*Googlebot.*
• Action : “Bypass” ou “Skip”

Note : n’oubliez pas les variantes Googlebot-Image (robots images) et Googlebot Smartphone (mobile).

Autorisation ASN (contre usurpation de User-Agent)

Important : des robots malveillants peuvent usurper le User-Agent de Googlebot. La vérification par ASN/IP est essentielle.

Comment faire : ajoutez dans la règle une condition :

• Champ : ASN → “égal à” → 15169 (ASN officiel de Google)