El firewall de Cloudflare bloquea el rastreador de Google｜Cómo solucionar fallos de indexación

Muchos administradores web descubren que su sitio ha “desaparecido” repentinamente de los resultados de búsqueda de Google. La causa más probable es que el firewall de Cloudflare haya bloqueado por error al rastreador de Google (Googlebot), impidiendo que los motores de búsqueda accedan correctamente a las páginas.

Esto se debe a que las reglas de protección predeterminadas de Cloudflare son bastante estrictas, especialmente con las IPs de rastreadores que realizan accesos frecuentes. Un descuido puede activar el firewall, causando desde demoras en la indexación hasta caídas drásticas en el posicionamiento de palabras clave.

En este artículo explicamos 4 pasos prácticos para resolver los problemas de indexación causados por reglas de Cloudflare, desde identificar el motivo del bloqueo, ajustar la configuración básica del firewall, hasta configurar correctamente una lista blanca para los bots de búsqueda.

Primero, verifica si realmente hubo un bloqueo

Muchos administradores modifican la configuración apenas ven que su sitio no está indexado, pero puede que Googlebot no esté siendo bloqueado, o que el problema sea otro, como contenido de baja calidad o restricciones en el archivo robots.txt.

Primero comprueba si el bloqueo es real, para evitar ajustes innecesarios que podrían generar problemas más complejos.

Informe de errores de rastreo en Google Search Console

• Ruta: Ingresa a la consola GSC → Menú izquierdo “Índice” → “Cobertura” → Revisa las páginas “Excluidas” y los registros de “Error de rastreo”.
• Indicadores clave: Si aparece error “Rechazado” (403/5xx) o “Redirigido”, es probable que el firewall haya bloqueado.

Comparar con el registro del firewall de Cloudflare

Pasos: Inicia sesión en Cloudflare → “Seguridad” → “Eventos” → Filtra por fecha y busca solicitudes con “User-Agent” que contengan “Googlebot”.

Observa el estado:

1. Block: Bloqueo explícito (debe habilitarse)
2. Challenge: Se activó verificación (puede ralentizar el rastreo)
3. JS Challenge: Requiere validación con JavaScript (puede fallar el rastreo móvil)

Usar herramienta de prueba de Google

1. Enlace: https://search.google.com/search-console/inspect
2. Ingresa la URL afectada y haz clic en “Probar URL en vivo”, revisa el resultado:
3. Si aparece “Crawl blocked” y un código HTTP como 403, se confirma el bloqueo.

Diferenciar entre CAPTCHA y bloqueo total

Desafío CAPTCHA: El bot recibe una página con verificación (código 200 pero muestra CAPTCHA), lo cual impide que Google la procese.

Bloqueo completo: Se devuelve directamente un error 403/5xx y el bot no accede al contenido.

Revisar la configuración básica del firewall de Cloudflare

La configuración de seguridad predeterminada de Cloudflare protege el sitio, pero también puede bloquear Googlebot por error.

El rastreo frecuente puede ser interpretado como un ataque, y Cloudflare podría limitarlo o bloquearlo.

Revisa estos 4 ajustes básicos y haz los cambios necesarios para reducir los falsos positivos.

Ajustar el nivel de seguridad (Security Level)

1. Problema: Si el nivel está en “Alto” o “Muy alto”, puede bloquear más del 30% de rastreos legítimos.
2. Acción: Ve al panel de Cloudflare → “Seguridad” → “Configuraciones” → Reduce a nivel “Medio” o “Bajo”.
3. Nota: Monitorea los registros de ataques tras ajustar. Usa reglas personalizadas para amenazas reales.

Desactivar bloqueos geográficos innecesarios

• Riesgo: Si bloqueas IPs de América del Norte o Europa, puedes estar bloqueando Googlebot (que se encuentra principalmente en EE. UU.).
• Acción: Ve a “Seguridad” → “WAF” → “Regiones” → Desactiva el bloqueo o excluye ASN15169 (red de Google).

Desactivar el modo Under Attack (escudo rojo)

• Impacto: Este modo obliga a todos los visitantes a pasar una verificación de 5 segundos, pero Googlebot no puede superarla, resultando en bloqueo total.
• Acción: En la página principal de Cloudflare, asegúrate de que el modo “Under Attack” esté desactivado.

Desactivar desafíos JS para motores de búsqueda

Error crítico: Si activas la verificación de integridad del navegador, algunos bots (como Googlebot móvil) fallarán porque no ejecutan JavaScript.

Acción: Ve a “Seguridad” → “Configuraciones” → En “Verificación de integridad del navegador”, marca la opción “No aplicar a motores de búsqueda”.

Extra: Puedes desactivar los desafíos JS sólo para User-Agent que incluya “Googlebot”.

Configurar reglas de firewall para la lista blanca

Reducir el nivel de seguridad puede exponer el sitio a riesgos. La solución más segura es crear reglas que permitan el acceso específico a Googlebot.

Cloudflare permite crear reglas basadas en User-Agent, IP o ASN (número del sistema autónomo).

Lista blanca por User-Agent (prioridad alta)

Objetivo: Permitir directamente todas las solicitudes con “Googlebot” en el User-Agent, evitando filtros del firewall.

Ruta:

Panel de Cloudflare → “Seguridad” → “WAF” → “Reglas” → Crear nueva regla

• Campo: User-Agent → Contiene → Introduce expresión regular: .*Googlebot.*
• Acción: Selecciona “Omitir” o “Permitir”

Nota: Asegúrate de cubrir variantes como Googlebot-Image (para imágenes), Googlebot Smartphone (para móviles), etc.

Permitir por ASN (para evitar User-Agent falsos)

Importancia: Algunos bots maliciosos falsifican el User-Agent de Googlebot. Verificar la IP por ASN es más seguro.

Ruta: Agrega una condición en la regla del firewall:

• Campo: ASN → Igual a → Introduce 15169 (ASN exclusivo de Google)

Muchos administradores de sitios web han notado que su sitio desapareció repentinamente de los resultados de búsqueda de Google. Una posible causa es que el firewall de Cloudflare esté bloqueando erróneamente al rastreador de Google (Googlebot), lo que impide que los motores de búsqueda indexen las páginas correctamente.

Debido a que las reglas de protección predeterminadas de Cloudflare son bastante estrictas, especialmente con IPs de bots que acceden con frecuencia, es fácil que el firewall las bloquee. Esto puede causar desde retrasos en la indexación hasta caídas drásticas en los rankings.

Este artículo te guiará con 4 pasos prácticos para resolver los problemas de indexación causados por reglas de Cloudflare: desde verificar si hay bloqueos, ajustar configuraciones básicas del firewall, hasta configurar una lista blanca específica para los bots de Google.

Primero verifica si realmente está siendo bloqueado

Muchos administradores cambian la configuración al ver que Google no indexa su sitio, pero puede que Cloudflare no esté bloqueando nada y que el problema sea otro, como contenido de baja calidad o restricciones en robots.txt.

Revisa lo siguiente antes de hacer cambios innecesarios:

Informe de errores de rastreo en Google Search Console

• Ruta: Ingresa a la consola → menú izquierdo “Índice” → “Cobertura” → revisa páginas en “Excluidas” por error de rastreo.
• Indicadores clave: Si aparece “Denegado” (403/5xx) o “Redirigido”, puede tratarse de un bloqueo por firewall.

Comparar con el registro del firewall de Cloudflare

Paso a paso: Entra a Cloudflare → “Seguridad” → “Eventos” → selecciona un rango de fechas → busca las solicitudes con “User-Agent” que contengan “Googlebot”.

Fíjate en los estados:

1. Block: Bloqueo directo (debe permitirse)
2. Challenge: CAPTCHA (puede afectar al bot)
3. JS Challenge: Verificación de navegador (afecta especialmente a Googlebot móvil)

Usar la herramienta oficial de prueba de Google

1. Enlace: https://search.google.com/search-console/inspect
2. Ingresa la URL afectada y haz clic en “Probar URL en vivo”.
3. Si muestra “Bloqueado por rastreo” junto a un código HTTP (como 403), es un bloqueo confirmado.

Diferencia entre “desafío con CAPTCHA” y “bloqueo total”

Desafío con CAPTCHA: El bot recibe una página de CAPTCHA (respuesta 200 pero con contenido no interpretable), Google no puede indexarla.

Bloqueo total: Respuesta directa con código 403 o 5xx, el bot no accede a nada.

Revisar configuración básica del firewall de Cloudflare

La configuración por defecto de Cloudflare puede proteger el sitio, pero también puede “bloquear por error” a Googlebot.

Las visitas frecuentes del bot pueden parecer ataques, causando limitaciones o bloqueos.

Verifica y ajusta estas 4 configuraciones para reducir riesgos de bloqueos falsos:

Ajustar el nivel de seguridad (Security Level)

1. Problema: En nivel “Alto” o “Muy Alto” puede bloquearse más del 30% del tráfico legítimo de bots.
2. Cómo ajustarlo: Entra al panel de Cloudflare → “Seguridad” → “Configuración” → cambia a “Medio” o “Bajo”.
3. Consejo: Tras bajarlo, monitorea ataques y usa reglas personalizadas para bloquear amenazas reales.

Desactiva bloqueos regionales innecesarios

• Riesgo: Si activaste el bloqueo por región y restringiste IPs de Norteamérica o Europa, podrías estar bloqueando a Googlebot (sus servidores están en EE. UU.).
• Solución: En “Seguridad” → “WAF” → “Regiones” → revisa si tienes bloqueos activos; desactívalos o excluye ASN15169 (Google).

Desactivar el modo “Under Attack”

• Efecto: Este modo obliga a cada visita a pasar por una verificación de 5 segundos, pero Googlebot no puede hacerlo, lo que causa bloqueo total.
• Cómo apagarlo: En la página principal de Cloudflare, asegúrate de que el modo “Under Attack” esté desactivado.

Desactiva desafíos JS para motores de búsqueda

Problema grave: Si está activado “Inspección de integridad del navegador”, los bots (especialmente Googlebot móvil) no podrán ejecutar JavaScript, lo que causa fallos de rastreo.

Cómo resolverlo: Entra en “Seguridad” → “Configuración” → desactiva “Inspección del navegador” para motores de búsqueda.

Extra: Puedes crear una regla para desactivar desafíos JS cuando el User-Agent contenga Googlebot.

Reglas obligatorias para lista blanca en el firewall

Bajar el nivel de seguridad expone tu sitio a riesgos. Una forma más segura es configurar reglas para permitir de forma específica al bot de Google.

Cloudflare permite usar condiciones por User-Agent, IP o ASN.

Lista blanca por User-Agent (prioridad máxima)

Función: Permite directamente cualquier solicitud con Googlebot en el User-Agent, evitando filtros de firewall.

Paso a paso:
Cloudflare → “Seguridad” → “WAF” → “Reglas” → Crear nueva regla

• Campo: User-Agent → “Contiene” → escribe la expresión regular: .*Googlebot.*
• Acción: Selecciona “Omitir” o “Ignorar”

Nota: Asegúrate de incluir variantes como Googlebot-Image (imágenes) o Googlebot Smartphone (móvil).

Lista blanca por ASN (evita falsificación de User-Agent)

Importancia: Algunos bots maliciosos falsifican el User-Agent como Googlebot. Verificar la IP lo evita.

Cómo hacerlo: Agrega condición:

• Campo: ASN → “Igual a” → escribe 15169 (ASN oficial de Google)