Muitos administradores de sites percebem que seu site de repente “desapareceu” dos resultados de pesquisa do Google. A causa mais provável é que o firewall do Cloudflare bloqueou acidentalmente o Googlebot, impedindo o mecanismo de busca de rastrear as páginas corretamente.
Como as regras de proteção padrão do Cloudflare são bastante rígidas, especialmente contra IPs com acessos frequentes, é fácil acabar bloqueando o Googlebot — o que pode atrasar a indexação ou até causar quedas bruscas nos rankings.
Este artigo apresenta 4 etapas práticas para resolver esse problema, desde a identificação do bloqueio até o ajuste das configurações do firewall e a criação de uma whitelist específica para rastreadores.
Verifique primeiro se o bloqueio realmente está acontecendo
Muitos administradores ajustam as configurações apressadamente quando percebem que o site não está indexado, mas o problema pode não estar no Cloudflare — pode ser conteúdo de baixa qualidade ou uma restrição no robots.txt.
Use os métodos abaixo para confirmar o bloqueio antes de tomar qualquer medida que possa causar novos problemas.
Relatório de erros de rastreamento no Google Search Console
- Caminho: Entre no GSC → menu lateral “Índice” → “Cobertura” → verifique páginas “Excluídas” com erros de rastreamento.
- Indicadores principais: se o erro mostrar “Rejeitado” (403/5xx) ou “Redirecionado”, pode ser bloqueio do firewall.
Compare com os logs do firewall do Cloudflare
Ação: Acesse o painel do Cloudflare → vá para “Segurança” → “Eventos” → filtre por período e procure por “User-Agent” contendo “Googlebot”.
Preste atenção ao status:
- Block: Bloqueio direto (necessário liberar)
- Challenge: CAPTCHA (pode reduzir eficiência de rastreamento)
- JS Challenge: Verificação com JavaScript (pode afetar o Googlebot móvel)
Use a ferramenta oficial de teste do Google
- Link: https://search.google.com/search-console/inspect
- Insira a URL da página e clique em “Testar URL ao vivo” para ver o resultado.
- Se mostrar “Crawl blocked” e o código HTTP for 403, isso confirma o bloqueio.
Diferencie entre CAPTCHA e bloqueio completo
Desafio CAPTCHA: O bot recebe uma página com CAPTCHA (código 200, mas com formulário), que o Google não consegue interpretar.
Bloqueio completo: Código de resposta 403/5xx que impede o acesso total ao conteúdo.
Verifique as configurações básicas do firewall no Cloudflare
As configurações padrão do Cloudflare, embora úteis para proteção, podem acabar bloqueando rastreadores legítimos como o Googlebot.
Comportamentos de rastreamento intensivo podem ser confundidos com ataques, levando à limitação ou bloqueio.
Revise estas quatro configurações principais:
Ajustar o Nível de Segurança (Security Level)
- Problema: Níveis “Alto” ou “Muito alto” podem bloquear mais de 30% dos acessos legítimos do Googlebot.
- Ação: Vá ao painel do Cloudflare → “Segurança” → “Configurações” → defina como “Médio” ou “Baixo”.
- Observação: Após reduzir o nível, monitore os logs de ataques e use regras personalizadas para bloquear ameaças reais.
Desativar bloqueio geográfico incorreto
- Risco: Se estiver bloqueando IPs da América do Norte ou Europa, pode acabar bloqueando o Googlebot (a maioria dos servidores do Google estão nos EUA).
- Ação: Vá até “Segurança” → “WAF” → “Regiões” → verifique se há bloqueios por localização; desative ou exclua o ASN 15169 (rede do Google).
Desativar o modo Under Attack (ícone de escudo vermelho)
- Efeito: Esse modo exige verificação de todos os visitantes (com redirecionamento de 5 segundos), mas o Googlebot não consegue passar por isso.
- Ação: No painel inicial do Cloudflare, certifique-se de que o modo “Under Attack” está desligado.
Desativar desafios JS para mecanismos de busca
Erro crítico: Ativar a verificação de integridade do navegador pode impedir que o Googlebot (especialmente o móvel) acesse o conteúdo, pois ele não executa scripts JS.
Ação: Vá em “Segurança” → “Configurações” → localize “Verificação de integridade do navegador” e marque “Não aplicar a mecanismos de busca”.
Adicional: Crie uma regra específica para desativar esse desafio para User-Agent contendo “Googlebot”.
Configure regras de whitelist no firewall
Reduzir o nível de segurança pode aumentar riscos. A solução ideal é criar regras específicas para liberar o Googlebot de forma segura.
O Cloudflare permite configurar regras baseadas em User-Agent, IP ou ASN (sistema autônomo).
Whitelist por User-Agent (prioridade máxima)
Função: Liberar todas as requisições com “Googlebot” no User-Agent, ignorando verificações do firewall.
Como configurar: Painel do Cloudflare → “Segurança” → “WAF” → “Regras” → Criar nova regra
- Campo:
User-Agent→contém→ insira:.*Googlebot.* - Ação: Escolha “Ignorar” ou “Permitir”
Importante: Inclua variações como Googlebot-Image e Googlebot Smartphone.
Whitelist por ASN (evita falsificações de User-Agent)
Por que é necessário: Bots maliciosos podem falsificar User-Agent, mas não o ASN (número do sistema autônomo).
Configuração: Adicione à regra:
- Campo:
ASN→igual a→15169(ASN do Google)
Muitos administradores de sites perceberam que seus sites desapareceram repentinamente dos resultados de pesquisa do Google. Uma das causas mais comuns é que o firewall do Cloudflare está bloqueando o Googlebot por engano, impedindo que o mecanismo de busca consiga rastrear as páginas normalmente.
Como as regras de proteção padrão do Cloudflare são bem rigorosas — especialmente contra IPs de robôs com acesso frequente — é fácil acabar ativando um bloqueio por engano. Isso pode atrasar a indexação ou até causar quedas drásticas no ranking de palavras-chave.
Neste artigo, vamos mostrar 4 etapas práticas, desde como identificar se há bloqueio, ajustar as configurações básicas do firewall, até liberar especificamente o Googlebot — tudo passo a passo para resolver problemas de indexação causados pelas regras do Cloudflare.
Primeiro, confirme se o bot está mesmo sendo bloqueado
Muitos donos de sites ficam ansiosos e começam a mudar configurações logo que percebem que o site não está sendo indexado pelo Google. Mas às vezes o problema não está no Cloudflare — pode ser algo como qualidade de conteúdo ou restrições no robots.txt.
Antes de fazer qualquer mudança, siga estes passos para confirmar:
Relatório de erros de rastreamento no Google Search Console
- Caminho: entre no Search Console → menu à esquerda “Indexação” → “Cobertura” → veja as páginas em “Excluídas”.
- Indicadores: se os erros forem “Proibido” (403/5xx) ou “Redirecionado”, pode ser sinal de bloqueio pelo firewall.
Compare com os registros de firewall do Cloudflare
Como fazer: entre no painel do Cloudflare → “Segurança” → “Eventos” → filtre por data e procure por “User-Agent” que contenha “Googlebot”.
Preste atenção nos status:
- Block: bloqueio direto (precisa liberar)
- Challenge: desafio de CAPTCHA (pode afetar o desempenho do bot)
- JS Challenge: desafio de JavaScript (pode bloquear especialmente o Googlebot Mobile)
Use a ferramenta oficial de testes do Google
- Link: https://search.google.com/search-console/inspect
- Digite a URL que está sendo bloqueada e clique em “Testar URL ao vivo”.
- Se aparecer “Crawl blocked” com código HTTP 403, é bloqueio confirmado.
Diferencie entre “CAPTCHA” e “bloqueio total”
CAPTCHA: o bot recebe uma página com verificação (código 200, mas o conteúdo é um desafio), o Google não consegue interpretar.
Bloqueio total: o servidor retorna código 403 ou 5xx, e o bot não consegue acessar nada.
Verifique as configurações básicas do firewall do Cloudflare
As configurações padrão do Cloudflare podem proteger o site, mas também causar bloqueios indesejados para o Googlebot.
Bots que acessam com frequência podem ser confundidos com ataques e acabar bloqueados.
Veja 4 ajustes simples que podem reduzir drasticamente os bloqueios:
Ajustar o Security Level (Nível de Segurança)
- Problema: níveis “Alto” ou “Muito alto” podem bloquear mais de 30% dos acessos legítimos do Googlebot.
- Como ajustar: entre no painel Cloudflare → “Segurança” → “Configurações” → defina como “Médio” ou “Baixo”.
- Atenção: após diminuir, monitore os logs e use regras personalizadas para bloquear ameaças reais.
Desativar bloqueios regionais incorretos
- Risco: se você bloqueou IPs da América do Norte ou Europa, pode estar impedindo o acesso do Googlebot (que vem dos EUA).
- Como ajustar: vá em “Segurança” → “WAF” → “Regiões” → verifique se há bloqueios e desative ou exclua o ASN15169 (rede do Google).
Desligar o modo Under Attack
- Impacto: esse modo exige que todos os visitantes passem por uma verificação de 5 segundos, que o Googlebot não consegue completar — o acesso é bloqueado.
- Como desativar: vá para a página inicial do painel do Cloudflare e desligue a opção “Under Attack Mode”.
Desabilitar desafios JS para mecanismos de busca
Erro comum: se a verificação de integridade do navegador estiver ativada, bots como o Googlebot mobile podem falhar na indexação por não rodarem JS.
Como resolver: vá para “Segurança” → “Configurações” → desmarque a opção para aplicar essa verificação em mecanismos de busca.
Dica extra: crie uma regra que exclua User-Agents contendo Googlebot dos desafios de JS.
Regras de firewall obrigatórias para liberar o Googlebot
Apenas reduzir o nível de segurança pode expor seu site. O melhor é criar regras específicas para liberar o bot do Google.
O Cloudflare permite regras baseadas em User-Agent, IP e ASN.
Whitelist por User-Agent (prioridade máxima)
O que faz: permite todas as requisições com Googlebot no User-Agent passarem sem restrições.
Como configurar:
No Cloudflare → “Segurança” → “WAF” → “Regras” → crie uma nova regra
- Campo:
User-Agent→ “Contém” → insira:.*Googlebot.* - Ação: selecione “Ignorar” ou “Pular”
Atenção: inclua também variantes como Googlebot-Image (para imagens) e Googlebot Smartphone (mobile).
Whitelist por ASN (proteção contra User-Agent falsificado)
Por que é necessário: robôs maliciosos podem copiar o User-Agent do Google, mas não vêm da rede do Google.
Como configurar:
- Campo:
ASN→ “Igual a” → insira15169(ASN da rede do Google)
