Cloudflare-Firewall blockiert Google-Crawler｜Ursachen und Lösungen für Indexierungsfehler

Viele Webmaster stellen fest, dass ihre Website plötzlich aus den Google-Suchergebnissen „verschwunden“ ist. Der Grund dafür könnte sein, dass die Cloudflare-Firewall den Google-Crawler (Googlebot) fälschlicherweise blockiert hat, sodass Suchmaschinen die Seiten nicht richtig crawlen können.

Da die Standard-Schutzregeln von Cloudflare recht streng sind, besonders gegenüber häufig besuchten Crawler-IP-Adressen, kann es schon bei kleinen Unachtsamkeiten zu Firewall-Blockaden kommen – im besten Fall verzögert sich die Indexierung, im schlimmsten Fall stürzt das Ranking der Keywords drastisch ab.

Dieser Artikel zeigt Ihnen anhand von 4 praktischen Schritten, wie Sie von der Ursachenanalyse der Blockade über die Anpassung der Basis-Firewalleinstellungen bis hin zur präzisen Einrichtung von Whitelists für Crawler die durch Cloudflare-Regeln verursachten Google-Indexierungsprobleme lösen können.

Als Erstes: Bestätigen, ob tatsächlich eine Blockade vorliegt

Viele Webmaster ändern ihre Einstellungen sofort, wenn sie sehen, dass ihre Website nicht bei Google indexiert wird. Dabei ist es möglich, dass Cloudflare den Crawler gar nicht blockiert hat, oder dass andere SEO-Probleme (wie Inhaltsqualität oder robots.txt-Einschränkungen) die Ursache sind.

Prüfen Sie zunächst mit folgenden Methoden, ob wirklich eine Blockade vorliegt, um unnötige Fehlkonfigurationen zu vermeiden.

Google Search Console Crawl-Fehlerbericht

• Pfad: Melden Sie sich in der GSC an → links „Index“ → „Abdeckung“ → prüfen Sie im Bereich „Ausgeschlossen“ die „Fehler beim Crawlen“.
• Wichtig: Wenn die Fehlerart „Verweigert“ (403/5xx) oder „Umgeleitet“ ist, könnte dies eine Firewall-Blockade sein.

Vergleich mit Cloudflare-Firewall-Logs

Vorgehen: Melden Sie sich bei Cloudflare an → „Sicherheit“ → „Ereignisse“ → filtern Sie nach Zeitraum und suchen Sie nach Requests mit „User-Agent“ enthält „Googlebot“.

Achten Sie auf den Status:

1. Block: Deutliche Blockade (muss freigegeben werden)
2. Challenge: CAPTCHA ausgelöst (kann die Crawler-Effizienz beeinträchtigen)
3. JS Challenge: Browser-Überprüfung (kann mobile Crawler blockieren)

Verwendung des offiziellen Google-Testtools

1. Tool-Link: https://search.google.com/search-console/inspect
2. Geben Sie die URL der blockierten Seite ein und klicken Sie auf „Live-Test der URL“. Beobachten Sie das Ergebnis:
3. Wenn „Crawling blockiert“ angezeigt wird, bestätigen Sie dies anhand des HTTP-Statuscodes (z. B. 403).

Unterscheidung zwischen „CAPTCHA-Anforderung“ und „vollständiger Blockade“

CAPTCHA-Anforderung: Der Crawler erhält eine CAPTCHA-Seite (HTTP 200, aber der Inhalt ist ein CAPTCHA), Google kann die Seite nicht interpretieren, was zur fehlenden Indexierung führt.

Vollständige Blockade: Direkte Antwort mit 403/5xx, der Crawler kann keinen Inhalt laden.

Überprüfung der grundlegenden Cloudflare-Firewalleinstellungen

Die standardmäßigen Sicherheitseinstellungen von Cloudflare schützen die Website zwar, können aber auch versehentlich den Googlebot blockieren.

Insbesondere bei häufigem Crawlen kann das als Angriff gewertet werden, was zu einer Drosselung oder Blockade des Crawlers führt.

Die folgenden 4 grundlegenden Einstellungen sollten zuerst überprüft und einfach angepasst werden, um Fehlblockaden stark zu reduzieren.

Anpassung des Security Levels (Sicherheitsstufe)

1. Problem: Bei „hoch“ oder „sehr hoch“ werden über 30 % legitime Crawler-Anfragen blockiert.
2. Vorgehen: Gehen Sie ins Cloudflare-Dashboard → „Sicherheit“ → „Einstellungen“ → stellen Sie das Sicherheitslevel auf „Mittel“ oder „Niedrig“.
3. Hinweis: Beobachten Sie nach der Anpassung die Angriff-Logs und nutzen Sie benutzerdefinierte Regeln zur präzisen Abwehr echter Bedrohungen.

Deaktivieren Sie unnötige Geo-Blocking-Einstellungen

• Risiko: Wenn Geo-Blocking aktiviert und Nordamerika oder Europa blockiert wird, kann der Googlebot (hauptsächlich US-Server) versehentlich gesperrt werden.
• Vorgehen: Unter „Sicherheit“ → „WAF“ → „Geographie“ prüfen Sie die Geo-Blocking-Einstellungen und deaktivieren oder schließen Sie ASN15169 (Google-Netzwerk) aus.

Deaktivieren Sie den Under Attack Mode (rotes Schild-Symbol)

• Auswirkung: Dieser Modus erzwingt eine Verifizierung für alle Besucher (5-Sekunden-Weiterleitung), Googlebot kann diese Prüfung nicht passieren und wird komplett blockiert.
• Vorgehen: Auf der Cloudflare-Startseite → den Schalter für „Under Attack Mode“ deaktivieren.

Deaktivieren Sie die JS-Challenge für Suchmaschinen

Schwerwiegender Fehler: Wenn „Browser Integrity Check“ aktiviert ist, können einige Crawler (insbesondere mobile Googlebot) die JS-Prüfung nicht ausführen und schlagen fehl.

Vorgehen: Gehen Sie zu „Sicherheit“ → „Einstellungen“ → deaktivieren Sie die „Browser Integrity Check“ für Suchmaschinen.

Ergänzung: Sie können auch separate Regeln für User-Agent mit Googlebot erstellen, um die JS-Challenge auszuschalten.

Unbedingt erforderliche Firewall-Whitelist-Regeln

Das einfache Absenken der Sicherheitsstufe kann das Risiko erhöhen. Die sicherere Methode ist eine präzise Whitelist für den Googlebot.

Cloudflare unterstützt Whitelists basierend auf User-Agent, IP-Herkunft und ASN (Autonomes System Nummer).

User-Agent-Whitelist (höchste Priorität)

Zweck: Alle Anfragen mit Googlebot im User-Agent werden direkt durchgelassen und umgehen die Firewall.

Vorgehen:

Cloudflare Dashboard → „Sicherheit“ → „WAF“ → „Regeln“ → Neue Regel erstellen

• Feld: User-Agent → „enthält“ → Regex .*Googlebot.* eingeben
• Aktion: „Bypass“ oder „Skip“ auswählen

Hinweis: Einschließlich Googlebot-Image (Bild-Crawler), Googlebot Smartphone (Mobile Crawler) und andere Varianten.

Whitelist über ASN (Schutz vor gefälschtem User-Agent)

Notwendig: Bösartige Crawler können den User-Agent fälschen, daher ist die Überprüfung der IP-Herkunft via ASN wichtig.

Vorgehen: Fügen Sie in der Firewall-Regel eine Bedingung hinzu:

• Feld: ASN → „gleich“ → Wert 15169 (Google ASN Nummer)

Viele Webmaster stellen fest, dass ihre Website plötzlich aus den Google-Suchergebnissen „verschwunden“ ist. Oft liegt die Ursache daran, dass die Cloudflare-Firewall den Google-Crawler (Googlebot) fälschlicherweise blockiert hat, wodurch Suchmaschinen die Seiten nicht richtig crawlen können.

Da die Standard-Schutzregeln von Cloudflare recht streng sind, insbesondere bei hochfrequenten Zugriffsversuchen von Crawler-IP-Adressen, wird der Firewall-Schutz schnell ausgelöst. Dies führt im besten Fall zu verzögerter Indexierung, im schlimmsten Fall zu einem drastischen Rankingverlust.

Dieser Artikel zeigt Ihnen anhand von 4 praktischen Schritten, wie Sie die Blockadeursache ermitteln, die grundlegenden Firewall-Einstellungen anpassen und eine präzise Whitelist für den Google-Crawler einrichten – so beheben Sie Schritt für Schritt Probleme mit der Google-Indexierung, die durch Cloudflare-Regeln verursacht werden.

Erst prüfen, ob wirklich eine Blockade vorliegt

Viele Webmaster reagieren schnell und ändern Einstellungen, sobald die Website nicht bei Google indexiert wird. Doch oft blockiert Cloudflare den Crawler gar nicht, sondern es liegt an anderen SEO-Problemen (z. B. schlechte Inhaltsqualität oder robots.txt-Einschränkungen).

Prüfen Sie zunächst auf folgende Weise, ob eine Blockade tatsächlich vorliegt, um unnötige Fehlkonfigurationen zu vermeiden.

Google Search Console Crawling-Fehlerbericht

• Pfad: Im GSC-Dashboard → links „Index“ → „Abdeckung“ → unter „Ausgeschlossen“ die Einträge mit „Crawler-Fehler“ prüfen.
• Wichtig: Wenn der Fehler „Abgelehnt“ (403/5xx) oder „Weiterleitung“ anzeigt, ist dies möglicherweise eine Firewall-Blockade.

Vergleich mit Cloudflare Firewall-Logs

Vorgehen: In Cloudflare einloggen → „Sicherheit“ → „Ereignisse“ → Zeitrahmen filtern → nach „User-Agent“ mit „Googlebot“ suchen.

Besondere Aufmerksamkeit auf Status:

1. Block: Klare Blockierung (muss freigegeben werden)
2. Challenge: CAPTCHA ausgelöst (kann die Effizienz des Crawlers beeinträchtigen)
3. JS Challenge: Browserprüfung (kann besonders den mobilen Googlebot blockieren)

Verwendung des offiziellen Google-Testtools

1. Tool-URL: https://search.google.com/search-console/inspect
2. Betroffene URL eingeben → „Live-Test der URL“ klicken → Ergebnisse beobachten:
3. Wenn „Crawl blocked“ erscheint und HTTP-Statuscodes wie 403 angezeigt werden, ist eine Blockade wahrscheinlich.

Unterscheidung zwischen CAPTCHA und kompletter Blockade

CAPTCHA-Herausforderung: Der Crawler erhält eine CAPTCHA-Seite (HTTP 200, aber mit CAPTCHA-Inhalt), Google kann dies nicht interpretieren und indexiert die Seite nicht.

Komplette Blockade: HTTP 403 oder 5xx Fehlercode – der Crawler erhält keine Inhalte.

Cloudflare-Grundkonfiguration prüfen

Die Standard-Sicherheitseinstellungen von Cloudflare schützen die Website zwar, können aber auch den Google-Crawler „versehentlich“ blockieren.

Insbesondere bei häufigen Crawling-Vorgängen wird das Verhalten schnell als Angriff eingestuft und die IP wird gedrosselt oder geblockt.

Folgende 4 Grundeinstellungen sollten vorrangig geprüft und gegebenenfalls angepasst werden, um Fehlblockaden zu vermeiden.

Sicherheitsstufe anpassen

1. Problem: Wird die Stufe auf „Hoch“ oder „Sehr hoch“ gesetzt, können über 30% legitimer Crawler-Anfragen geblockt werden.
2. Vorgehen: Cloudflare Dashboard → „Sicherheit“ → „Einstellungen“ → „Sicherheitsstufe“ auf „Mittel“ oder „Niedrig“ setzen.
3. Hinweis: Nach Anpassung die Angriffsprotokolle beobachten und mit „benutzerdefinierten Regeln“ echte Bedrohungen gezielt abfangen.

Regionale Sperren mit Fehlblockade deaktivieren

• Risiko: Wenn eine regionale Sperre aktiviert ist und nordamerikanische oder europäische IP-Bereiche blockiert werden, könnte dadurch auch Googlebot (meist aus den USA) blockiert werden.
• Maßnahme: Unter „Sicherheit“ → „WAF“ → „Regionen“ prüfen, ob regionale Sperren aktiv sind und diese vorübergehend deaktivieren oder ASN15169 (Google-Netzwerk) ausschließen.

„Under Attack Mode“ deaktivieren

• Auswirkung: Dieser Modus fordert alle Besucher zu einer 5-Sekunden-Verzögerung auf, was Googlebot nicht passieren kann und somit komplett blockiert wird.
• Vorgehen: Cloudflare Dashboard Startseite → „Under Attack Mode“ ausstellen.

JS Challenge für Suchmaschinen deaktivieren

Problem: Die „Browser-Integritätsprüfung“ erfordert das Ausführen von JavaScript, was vor allem der mobile Googlebot nicht schafft und dann fehlschlägt.

Vorgehen: „Sicherheit“ → „Einstellungen“ → „Browser-Integritätsprüfung“ → Option „Nicht für Suchmaschinen anwenden“ aktivieren.

Zusatz: Alternativ kann man für User-Agent mit Googlebot eine separate Regel anlegen, um die JS-Challenge zu deaktivieren.

Firewall-Regeln für Googlebot einrichten

Die reine Herabsetzung der Sicherheitsstufe erhöht das Risiko für echte Angriffe. Eine sicherere Methode ist es, gezielt Firewall-Regeln anzulegen, die Googlebot erlauben.

Cloudflare unterstützt Whitelists basierend auf User-Agent, IP-Herkunft oder ASN (Autonomous System Number).

User-Agent-Whitelist (höchste Priorität)

Wirkung: Alle Anfragen mit Googlebot im User-Agent werden direkt durchgelassen und nicht gefiltert.

So geht’s:
Cloudflare Dashboard → „Sicherheit“ → „WAF“ → „Regeln“ → Neue Regel erstellen

• Feld: User-Agent → „enthält“ → Regulärer Ausdruck: .*Googlebot.*
• Aktion: „Bypass“ oder „Skip“ auswählen

Hinweis: Dabei unbedingt auch Googlebot-Image (Bildcrawler), Googlebot Smartphone (Mobile-Version) usw. berücksichtigen.

ASN-Whitelist (gegen User-Agent-Spoofing)

Notwendig: Bösartige Bots können User-Agent fälschen, daher ist die IP/ASN-Überprüfung wichtig.

Vorgehen: In der Firewall-Regel noch folgende Bedingung ergänzen:

• Feld: ASN → „ist gleich“ → 15169 (ASN von Google)