Molti webmaster hanno scoperto che il proprio sito è improvvisamente “scomparso” dai risultati di ricerca di Google. Dietro a questo fenomeno, la causa potrebbe essere il firewall di Cloudflare che blocca per errore i crawler di Google (Googlebot), impedendo al motore di ricerca di eseguire correttamente la scansione delle pagine.
Le regole di protezione predefinite di Cloudflare sono piuttosto rigorose, specialmente contro gli IP che effettuano accessi frequenti, come i bot. Una configurazione non corretta può portare a blocchi, causando ritardi nell’indicizzazione o addirittura un crollo del posizionamento.
In questo articolo, ti guiderò con 4 passaggi pratici per identificare i blocchi, regolare le impostazioni del firewall e creare una whitelist per Googlebot, risolvendo il problema di indicizzazione causato da Cloudflare.
Verifica prima se il blocco è reale
Molti webmaster modificano subito le impostazioni quando notano che il sito non è indicizzato, ma in realtà il problema potrebbe non essere Cloudflare. Potrebbe trattarsi di problemi SEO come contenuti di bassa qualità o restrizioni nel file robots.txt.
Usa i metodi seguenti per verificare se Googlebot è stato realmente bloccato, evitando modifiche inutili che potrebbero peggiorare la situazione.
Report degli errori di scansione su Google Search Console
- Percorso: accedi alla Search Console → “Indicizzazione” → “Copertura” → verifica le pagine “Escluse” con errori di scansione.
- Segnali chiave: se compaiono errori tipo “Accesso negato” (403/5xx) o “Reindirizzamento”, è possibile che il firewall abbia bloccato Googlebot.
Controlla i log del firewall Cloudflare
Operazione: accedi a Cloudflare → “Sicurezza” → “Eventi” → imposta un intervallo di tempo e cerca richieste con “User-Agent” che contiene “Googlebot”.
Controlla lo stato:
- Block: richiesta bloccata (necessita di sblocco)
- Challenge: CAPTCHA (rallenta la scansione)
- JS Challenge: verifica JavaScript (può impedire l’accesso al Googlebot mobile)
Utilizza lo strumento ufficiale di Google
- Link: https://search.google.com/search-console/inspect
- Inserisci l’URL bloccato e clicca su “Testa l’URL live”.
- Se appare “Impossibile eseguire la scansione” (Crawl blocked) con codice HTTP 403, il blocco è confermato.
Differenzia tra CAPTCHA e blocco totale
CAPTCHA: Googlebot riceve una pagina CAPTCHA (codice 200, ma il contenuto non è leggibile), quindi non può essere indicizzata.
Blocco totale: risposta 403/5xx, Googlebot non può accedere al contenuto.
Controlla le impostazioni di base del firewall Cloudflare
Le impostazioni di sicurezza di default di Cloudflare possono bloccare Googlebot per errore, soprattutto se rilevano traffico ad alta frequenza come potenziale attacco.
Controlla queste 4 impostazioni principali per ridurre i falsi positivi:
Regola il livello di sicurezza
- Problema: i livelli “Alto” o “Molto alto” possono bloccare oltre il 30% delle richieste legittime dei bot.
- Azione: accedi a Cloudflare → “Sicurezza” → “Impostazioni” → imposta il livello di sicurezza su “Medio” o “Basso”.
- Nota: dopo l’abbassamento, monitora i log e usa regole personalizzate per bloccare solo minacce reali.
Controlla i blocchi geografici
- Rischio: se hai bloccato IP da Nord America o Europa, potresti aver bloccato anche Googlebot (che opera dagli USA).
- Azione: “Sicurezza” → “WAF” → “Area geografica” → disattiva il blocco o escludi ASN 15169 (rete Google).
Disattiva la modalità “Under Attack”
- Impatto: questa modalità richiede un controllo di 5 secondi per ogni visita, ma Googlebot non può completarlo → accesso negato.
- Azione: disattiva l’interruttore “Under Attack” nella dashboard principale di Cloudflare.
Disabilita le sfide JS per i motori di ricerca
Errore critico: se “Browser Integrity Check” è attivo, alcuni bot (specialmente Googlebot mobile) falliscono l’esecuzione di JavaScript.
Azione: vai su “Sicurezza” → “Impostazioni” → disattiva “Browser Integrity Check” per i motori di ricerca.
Extra: crea una regola per disabilitare la JS Challenge per User-Agent contenenti “Googlebot”.
Imposta whitelist per Googlebot nel firewall
Abbassare il livello di sicurezza non è sempre sicuro. Un metodo migliore è autorizzare in modo mirato i crawler di Google.
Cloudflare consente regole basate su User-Agent, IP o ASN (Autonomous System Number).
Whitelist basata su User-Agent (priorità alta)
Funzione: consente tutte le richieste che includono “Googlebot” nello User-Agent.
Percorso: Cloudflare → “Sicurezza” → “WAF” → “Crea nuova regola”
- Campo:
User-Agent→contiene→.*Googlebot.* - Azione: seleziona “Bypass” o “Consenti”
Nota: includi anche varianti come Googlebot-Image e Googlebot Smartphone.
Whitelist basata su ASN (per evitare spoofing)
Importanza: i bot malevoli possono falsificare lo User-Agent ma non l’ASN.
Azione: aggiungi una regola nel firewall:
- Campo:
ASN→uguale a→15169(ASN di Google)
Molti webmaster hanno notato che il loro sito è improvvisamente “scomparso” dai risultati di ricerca di Google. Dietro a questo fenomeno, la causa più probabile è che il firewall di Cloudflare abbia bloccato erroneamente il crawler di Google (Googlebot), impedendo così al motore di ricerca di effettuare correttamente la scansione delle pagine.
Le regole di sicurezza predefinite di Cloudflare sono piuttosto severe, soprattutto verso gli IP di crawler con accessi frequenti. Anche un piccolo errore può attivare un blocco firewall, causando ritardi nell’indicizzazione o, nei casi peggiori, un drastico calo del posizionamento nei risultati di ricerca.
In questo articolo ti guideremo passo dopo passo attraverso 4 azioni pratiche: dall’individuazione dei blocchi, alla regolazione delle impostazioni base del firewall, fino alla creazione di whitelist mirate per i crawler — risolvendo il problema dell’indicizzazione causato dalle regole di Cloudflare.
Verifica se Googlebot è davvero bloccato
Molti proprietari di siti iniziano subito a modificare le configurazioni appena vedono che il sito non viene indicizzato, ma il problema potrebbe non dipendere dal firewall — potrebbero esserci altre ragioni SEO, come la qualità del contenuto o restrizioni in robots.txt.
Controlla prima se il blocco è reale, evitando modifiche inutili che potrebbero peggiorare la situazione.
Rapporto errori di scansione da Google Search Console
- Percorso: entra nella Google Search Console → menu a sinistra “Indicizzazione” → “Copertura” → controlla le pagine “Escluse” e cerca “Errore di scansione”.
- Indizi chiave: se l’errore è “Accesso negato” (403/5xx) o “Reindirizzamento”, è possibile che sia stato bloccato dal firewall.
Confronta con i log del firewall di Cloudflare
Operazione: accedi a Cloudflare → vai su “Sicurezza” → “Eventi” → imposta l’intervallo di tempo → filtra per “User-Agent” contenente “Googlebot”.
Stato da controllare:
- Block: bloccato completamente (va sbloccato)
- Challenge: CAPTCHA attivato (può rallentare la scansione)
- JS Challenge: verifica JavaScript (può bloccare Googlebot mobile)
Utilizza lo strumento ufficiale di test di Google
- Link: https://search.google.com/search-console/inspect
- Inserisci l’URL della pagina sospetta → clicca “Test live”
- Se appare “Crawl blocked” con codice 403, il blocco è confermato.
Distingui tra CAPTCHA e blocco totale
CAPTCHA: Googlebot riceve una pagina con CAPTCHA (status 200, ma contenuto non leggibile), che impedisce la scansione.
Blocco totale: viene restituito un codice 403/5xx, la pagina non viene caricata affatto.
Controlla le impostazioni base del firewall di Cloudflare
Le impostazioni predefinite di Cloudflare offrono buona sicurezza, ma possono anche bloccare Googlebot per errore.
Soprattutto le scansioni frequenti possono essere interpretate come attacchi.
Controlla e regola queste 4 impostazioni base per ridurre il rischio di blocchi errati:
Regola il livello di sicurezza (Security Level)
- Problema: livelli “Alto” o “Molto alto” possono bloccare oltre il 30% delle richieste legittime di crawler.
- Operazione: pannello Cloudflare → “Sicurezza” → “Impostazioni” → imposta su “Medio” o “Basso”.
- Nota: dopo la modifica, monitora i log e usa regole personalizzate per bloccare solo reali minacce.
Disattiva i blocchi geografici erronei
- Rischio: se hai attivato il blocco di regioni e hai incluso Nord America o Europa, potresti bloccare anche Googlebot (che opera dagli USA).
- Operazione: “Sicurezza” → “WAF” → “Regioni” → disattiva temporaneamente o escludi ASN15169 (rete Google).
Disattiva la modalità “Under Attack”
- Effetto: forza una verifica a tutti i visitatori (5 secondi), ma Googlebot non riesce a superarla → blocco completo.
- Operazione: dalla dashboard Cloudflare → disattiva “Under Attack Mode”.
Disattiva le sfide JavaScript per i motori di ricerca
Errore critico: con il “Browser Integrity Check” attivo, alcuni bot (come Googlebot mobile) falliscono nella scansione perché non possono eseguire JavaScript.
Operazione: “Sicurezza” → “Impostazioni” → disattiva “Browser Integrity Check” per i bot dei motori di ricerca.
Extra: crea una regola per bypassare JS challenge per User-Agent che include Googlebot.
Imposta regole firewall per la whitelist di Googlebot
Abbassare il livello di sicurezza può esporre il sito a rischi. Una soluzione più sicura è creare whitelist specifiche per Googlebot.
Cloudflare consente regole basate su User-Agent, IP, ASN (sistema autonomo), ecc.
Whitelist User-Agent (massima priorità)
Effetto: permette tutte le richieste che includono Googlebot, ignorando i controlli firewall.
Come impostare:
Cloudflare dashboard → “Sicurezza” → “WAF” → “Regole” → crea nuova regola
- Campo:
User-Agent→ “contiene” → inserisci.*Googlebot.* - Azione: seleziona “Bypass” o “Salta”
Nota: considera anche Googlebot-Image (immagini), Googlebot Smartphone (mobile), ecc.
Whitelist ASN (contro User-Agent falsificati)
Perché serve: i bot malevoli possono falsificare lo User-Agent, ma non l’ASN.
Come impostare:
- Campo:
ASN→ “è uguale a” → inserisci15169(ASN ufficiale di Google)
