So nutzen Sie Screaming Frog für SEO | Leitfaden 2025

Jeder, der Google SEO betreibt, weiß, dass Tools Hebel für die Effizienz sind. Nehmen wir Screaming Frog als Beispiel: Dieses Crawler-Tool kann das Arbeitspensum von 8 Stunden manueller Arbeit in nur 20 Minuten erledigen. Es kann jede URL Ihrer Website crawlen und 80-120 häufige SEO-Probleme präzise lokalisieren (wie z. B. 404-Deadlinks, doppelte Titel oder Bilder mit fehlenden Alt-Attributen).

Dieser Artikel führt Sie von der Installation und Einrichtung bis hin zur Datenverwertung und macht Screaming Frog zu Ihrem “SEO-Mikroskop”.

Installation und Grundeinstellungen

Die Installation von Screaming Frog klingt wie ein einfacher Vorgang nach dem Motto „ein paar Mal auf Weiter klicken“. Es gibt jedoch Rückmeldungen von Nutzern, die aufgrund mangelnder Beachtung der Systemkompatibilität bei der Installation feststellen mussten, dass die Mac-Version der Software ruckelt und die Crawl-Geschwindigkeit um 40 % langsamer als normal ist.

Andere stellten die Crawl-Tiefe willkürlich ein, was dazu führte, dass eine kleine Website 2 Stunden lang gecrawlt wurde, ohne die Kernseiten vollständig zu erfassen.

Vorbereitung vor der Installation

1. Systemkompatibilität

Screaming Frog unterstützt Windows 10/11 (64-Bit) und macOS 10.15 oder höher. Wenn Ihr Computer mit Windows 7 oder macOS 10.14 läuft, wird beim direkten Herunterladen des Installationspakets “Inkompatibel” angezeigt. Ein erzwungener Betrieb kann zu Abstürzen führen (die gemessene Absturzrate bei Win7-Nutzern liegt bei ca. 35 %).

2. Berechtigungsprobleme

• Windows: Es wird empfohlen, die Installation über ein Administratorkonto durchzuführen (Rechtsklick auf das Installationspaket → „Als Administrator ausführen“). Andernfalls können Crawl-Daten aufgrund unzureichender Berechtigungen möglicherweise nicht geschrieben werden (häufige Fehlermeldung: „Logdatei kann nicht gespeichert werden“).
• Mac: Muss der „Systemintegritätsschutz“ (SIP) deaktiviert werden? Nein, aber beim ersten Ausführen müssen Sie unter „Systemeinstellungen → Sicherheit & Datenschutz“ möglicherweise auf „Trotzdem öffnen“ klicken, da das Programm sonst blockiert wird (etwa 20 % der Mac-Nutzer bleiben an diesem Schritt hängen).

3. Netzwerkumgebung

Schließen Sie vor dem Crawlen Proxy-Software (wie VPNs oder Beschleuniger). Eine lokale Netzwerkverzögerung von mehr als 200 ms führt zu einem Rückgang der Crawl-Geschwindigkeit um 50 % (Messwert: bei 200 ms Verzögerung 10 Crawls pro Sekunde; bei 50 ms Verzögerung 25 Crawls pro Sekunde).

Formelle Installation

Windows-System

1. Besuchen Sie die offizielle Website von Screaming Frog (www.screamingfrog.co.uk) und klicken Sie auf „Download Free Version“ (die kostenlose Version reicht für kleine und mittlere Websites aus).
2. Wählen Sie den „Windows Installer“ und führen Sie ihn nach dem Download per Doppelklick aus.
3. Wählen Sie den Installationspfad gemäß den Anweisungen (empfohlen wird das Standardlaufwerk C, um den Verlust von Konfigurationsdateien durch benutzerdefinierte Pfade zu vermeiden), aktivieren Sie „Desktop-Verknüpfung erstellen“ und klicken Sie auf „Installieren“.
4. Nach Abschluss der Installation erscheint ein grünes Spinnensymbol auf dem Desktop; öffnen Sie es per Doppelklick.

macOS-System

• Laden Sie es ebenfalls von der offiziellen Website herunter und wählen Sie „macOS DMG“.
• Doppelklicken Sie auf die heruntergeladene .dmg-Datei und ziehen Sie das Symbol „Screaming Frog SEO Spider“ in den Ordner „Programme“.
• Beim ersten Öffnen meldet das System möglicherweise: „Kann nicht geöffnet werden, da es von einem nicht verifizierten Entwickler stammt“. Gehen Sie zu „Systemeinstellungen → Sicherheit & Datenschutz“ und klicken Sie auf „Trotzdem öffnen“.

4 Grundeinstellungen

Nach der Installation müssen Sie beim ersten Öffnen der Software die Parameter für die „Spinne“ (Spider) konfigurieren.

Wenn diese falsch eingestellt sind, könnten die anschließend gecrawlten Daten völlig unbrauchbar sein.

User Agent

• Wirkung: Teilt dem Webserver mit, „wer ich bin“. Der User Agent des Google-Crawlers lautet „Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)“.
• Einstellungsmethode: Klicken Sie im oberen Menü auf „Konfiguration → Spider“ und wählen Sie im Dropdown-Menü „User Agent“ die Option „Googlebot“ aus (Standard ist „Screaming Frog“).
• Warum das wichtig ist: Wenn Sie den Standard-User-Agent „Screaming Frog“ verwenden, blockieren einige Websites den Crawler (z. B. durch „Disallow: /screamingfrog“), was das Erfassen von Inhalten verhindert. Mit „Googlebot“ können Sie den echten Google-Crawler simulieren und Daten erhalten, die näher an der Realität liegen (Messwert: Nach dem Wechsel stieg die Crawl-Erfolgsrate einer E-Commerce-Website von 65 % auf 92 %).

Crawl-Tiefe (Crawl Depth)

• Definition: Ausgehend von der Startseite, wie viele Klickebenen tief den Links gefolgt werden soll (z. B. Startseite → Kategorieseite → Produktseite sind 3 Ebenen).
• Einstellungsempfehlung:
  • Kleine und mittlere Websites (Seitenzahl ≤ 1000): Auf 5 Ebenen einstellen (deckt über 90 % der Kernseiten ab).
  • Große Websites (Seitenzahl > 1000): Auf 10 Ebenen einstellen, dies muss jedoch mit einer „Begrenzung der Crawl-Anzahl“ (siehe unten) kombiniert werden, um übermäßig lange Crawl-Zeiten zu vermeiden (10 Ebenen können die Crawl-Zeit von 10 Minuten auf 1 Stunde verlängern).

Begrenzung der Crawl-Anzahl (Max URLs to Crawl) •

• Wirkung: Verhindert, dass die Software aufgrund zu vieler Website-Links (z. B. in Foren oder Seiten mit unendlichem Scrollen) ununterbrochen weiter crawlt.
• Einstellungsmethode: Aktivieren Sie unter „Konfiguration → Spider“ die Option „Limit number of URLs to crawl“ und geben Sie einen spezifischen Wert ein (für kleine und mittlere Seiten werden 5.000–10.000 empfohlen, für große Seiten nicht mehr als 50.000).
• Folgen fehlender Einstellung: Ein Nutzer crawlte einmal eine E-Commerce-Seite mit dynamischen Links für „Empfohlene Produkte“. Da die Anzahl nicht begrenzt war, crawlte die Software 24 Stunden lang und erfasste schließlich 230.000 URLs (davon waren 80 % doppelte Produktdetailseiten).

Parameter ausschließen (Exclude Parameters)

• Problem: Viele Website-URLs enthalten überflüssige Parameter (z. B. ?utm_source=weibo, ?page=2). Diese beeinflussen den Inhalt nicht, werden aber von Screaming Frog als unterschiedliche URLs erkannt, was zu doppelten Crawls führt (z. B. werden „Produktseite“ und „Produktseite?page=2“ als 2 URLs gezählt).
• Einstellungsmethode: Klicken Sie auf „Konfiguration → Ausschließen“ und geben Sie unter „Query Parameters“ die zu filternden Parameter ein (durch Kommas getrennt), z. B. „utm_source, utm_medium, page“.
• Effekt: Nachdem eine Bildungswebsite 12 Tracking-Parameter gefiltert hatte, sank die Anzahl der gecrawlten URLs von 12.000 auf 4.500, und die Crawl-Zeit verkürzte sich um 40 %.

Einen „Mini-Crawl“ mit der Startseite durchführen

Nachdem die Einstellungen vorgenommen wurden, sollten Sie nicht sofort die gesamte Website crawlen. Geben Sie zuerst die URL der Startseite ein und klicken Sie auf „Start“, um einen Test in kleinem Rahmen durchzuführen (begrenzt auf 100 URLs), und prüfen Sie drei Dinge:

1. Wurden Kernseiten übersehen? Prüfen Sie z. B., ob „Über uns“ oder „Kontakt“ in der Hauptnavigation erfasst wurden (suchen Sie im Bericht „Internal“ nach Schlüsselwörtern).
2. Gibt es doppelte URLs? Prüfen Sie im Bericht „URL“, ob verschiedene Parameterversionen derselben Seite vorhanden sind (z. B. „/product“ und „/product?color=red“).
3. Wird ein 404 ausgelöst? Überprüfen Sie die 404-Statuscodes unter „Response Codes“, um sicherzustellen, dass keine gelöschten Seiten (z. B. alte Aktionsseiten) gecrawlt wurden.

Falls Probleme gefunden werden, kehren Sie zur „Konfiguration“ zurück, passen Sie die Parameter an (z. B. Crawl-Tiefe erhöhen, Ausschlussparameter ergänzen) und testen Sie erneut.

Einen Basis-Crawl schnell starten

Viele denken, „auf Start klicken“ sei alles beim Crawlen, aber in der Realität erhalten 30 % der Leute aufgrund ignorierter Details ungültige Daten.

Beispiele: Jemand hat das Netzwerk nicht geprüft, und der Crawl blieb auf halber Strecke wegen zu hoher Latenz hängen; jemand hat keine Begrenzung gesetzt, sodass die Software 2 Stunden lang redundante Daten erfasste; oder jemand hat das URL-Format falsch eingegeben und erhielt direkt „0 Ergebnisse“.

3 Checks vor dem Start

1. Sicherstellen, dass die Grundeinstellungen abgeschlossen sind

• User Agent: Muss auf „Googlebot“ eingestellt sein (unter „Konfiguration → Spider“ prüfen), da die Website den Crawler sonst blockieren könnte (Messwert: Ohne Einstellung lag die Crawl-Erfolgsrate einer Unternehmenswebsite bei nur 45 %; mit Einstellung stieg sie auf 90 %).
• Crawl-Tiefe: Passen Sie diese an die Website-Größe an (kleine/mittlere Seiten 5 Ebenen, große Seiten 10 Ebenen), um zu vermeiden, dass Kernseiten übersehen werden oder Zeit verschwendet wird.
• Parameter ausschließen: Filtern Sie nutzlose Tracking-Parameter (wie ?utm_source), um doppelte URLs zu reduzieren (ungefiltert war die URL-Anzahl bei einem E-Commerce-Shop dreimal so hoch wie nötig).

2. Netzwerkstabilität testen

• Latenzanforderung: Die Verzögerung von der lokalen Station zur Zielwebsite sollte ≤ 100 ms sein (Test mit dem Befehl „ping Zieldomain“).
  • Latenz ≤ 100 ms: 20-30 URLs pro Sekunde können gecrawlt werden.
  • Latenz 100-200 ms: 10-15 URLs pro Sekunde.
  • Latenz > 200 ms: < 10 URLs pro Sekunde; die Crawl-Zeit verdoppelt sich (z. B. 1.000 URLs in 10 Min. bei niedriger Latenz vs. 25 Min. bei hoher Latenz).
• Störungen vermeiden: Schließen Sie VPNs, Beschleuniger oder Download-Tools (Messwert: Bei laufendem Download sank die Crawl-Geschwindigkeit um 60 %).

3. Erreichbarkeit der Zielwebsite bestätigen

• Geben Sie die Ziel-URL direkt im Browser ein (z. B. https://example.com), um zu prüfen, ob sie normal öffnet (um das Crawlen von „403 Forbidden“-Seiten zu vermeiden).
• Falls die Website Login-Beschränkungen hat (z. B. Mitgliedersysteme), loggen Sie sich vorher aus (Screaming Frog kann keine Login-Status verarbeiten und würde leere Seiten oder 403-Fehler crawlen).

In 4 Schritten zum Ergebnis (ca. 10 Minuten)

1. Ziel-URL eingeben

• Formatanforderung: Die URL muss vollständig eingegeben werden (inklusive http:// oder https://), da die Software sonst einen Fehler „Ungültige URL“ ausgibt.
  • Beispiel: Richtig ist „https://www.example.com“, falsch ist „www.example.com“ oder „example.com“.
• Mehrere Domains: Wenn mehrere verknüpfte Domains gecrawlt werden sollen (z. B. www- und m-Subdomain), müssen diese separat gestartet werden (Screaming Frog crawlt nur eine Domain gleichzeitig).

2. Einschränkungen festlegen (optional, aber empfohlen)

• Crawl-Anzahl begrenzen: Aktivieren Sie unter „Konfiguration → Spider“ die Option „Limit number of URLs to crawl“ und geben Sie einen Wert ein (5.000–10.000 für kleine/mittlere Seiten, max. 50.000 für große Seiten).
  • Zweck: Verhindert unendliches Crawlen durch dynamische Links (z. B. „Mehr laden“).
• Bestimmte Seiten ausschließen: Fügen Sie unter „Konfiguration → Ausschließen“ „Disallow“-Regeln hinzu (z. B. „/admin/“), um irrelevante Inhalte zu vermeiden.

3. Auf „Start“ klicken und Status beobachten

• Fortschrittsbalken: Der obere Balken zeigt den Gesamtfortschritt (Grün = Normal, Gelb = Langsam, Rot = Hängt).
• Statusleiste: Unten rechts wird angezeigt: „X erfasst, Y ausstehend, Geschwindigkeit Z/Sek.“.
  • Normalfall: Geschwindigkeit stabil bei 10-30/Sek. (bei niedriger Latenz).
  • Anomalie: Geschwindigkeit fällt plötzlich auf 0 oder 1/Sek. – das deutet auf Serverbeschränkungen (Anti-Crawler-Schutz) oder Netzwerkprobleme hin.

4. Problembehandlung währenddessen

• Crawl stockt:
  • Netzwerk prüfen: Pingen Sie die Zieldomain erneut, um zu sehen, ob die Latenz gestiegen ist.
  • Manuell unterbrechen: Klicken Sie auf „Stop“, warten Sie 10 Sekunden und starten Sie neu (einige Server sperren IPs temporär; ein Neustart kann helfen).
  • Beschränkungen umgehen: Falls „403 Forbidden“ erscheint, versuchen Sie in der Spider-Konfiguration den User Agent auf „Bingbot“ zu ändern (einige Seiten sind gegenüber Bingbot toleranter).

Crawl abgeschlossen

Nach Abschluss meldet die Software „Crawl Complete“. Nun sollten Sie drei Dinge tun, um die Datenqualität zu sichern:

1. Prüfen, ob die Gesamtzahl der URLs plausibel ist

• Berechnungsmethode: Kleine Seiten (unter 100 Inhaltsseiten) erfassen meist 50-200 URLs; mittlere/große Seiten (unter 1.000 Inhaltsseiten) erfassen 500-3.000 URLs (je nach Komplexität).
• Anomalien:
  • Erfasst = 0: Wahrscheinlich falsches URL-Format, Netzwerk getrennt oder Googlebot blockiert.
  • Zahl viel kleiner als erwartet: Crawl-Tiefe zu gering oder Blockierung durch robots.txt (Prüfen Sie den Bericht „Directives“ auf „Robots.txt blocked“).

2. Prüfen, ob Kernseiten erfasst wurden

• Vorgehen: Klicken Sie im linken Menü auf „Internal“ → suchen Sie nach Schlüsselwörtern für Kern- Seiten-Keywords (z. B. „Produkte“, „Über uns“), um deren Vorhandensein zu bestätigen.
• Beispiel: Wenn Sie „neue Handys“ optimieren wollen und die Suche kein Ergebnis liefert, ist die Seite vielleicht zu tief verlinkt oder der Link ist defekt (404).

3. Auf massenhafte Fehlercodes prüfen

• Fokus auf:
  • 404 (Deadlinks): Bei mehr als 10 Fällen URLs notieren (über den „Response Codes“-Bericht exportieren).
  • 500 (Serverfehler): Einzelfälle sind oft temporär, Massenphänomene erfordern technische Prüfung.
  • 301/302 (Weiterleitungen): Prüfen, ob das Ziel gültig ist.

SEO-Berichte interpretieren (Fokus auf diese 6)

SEO-Experten sagen oft: „Daten lügen nicht“. In den vielen Berichten von Screaming Frog finden sich die Informationen, die das Google-Ranking beeinflussen, vor allem in diesen 6 Berichten.

Statistiken zeigen: Durch das Beheben dieser 6 Problemkategorien kann die Indexierungsrate kleiner Websites von 65 % auf 85 % steigen, bei einem durchschnittlichen Traffic-Plus von 20 %.

Bericht über Antwort-Statuscodes

Dieser Bericht zeichnet den HTTP-Statuscode jeder Seite auf. Wenn der Statuscode nicht stimmt, überspringt der Crawler Ihre Seite eventuell komplett.

Kerndaten und Aktionen

• 200 (OK): Der Anteil sollte > 85 % liegen. Ist er niedriger, sind viele Seiten blockiert oder fehlerhaft.
• 404 (Deadlinks): Oft verursacht durch gelöschte Seiten, deren Links nicht entfernt wurden.
  • Aktion: 404-URL-Liste exportieren → Linkquellen prüfen → Links entfernen oder 301-Weiterleitungen einrichten.
• 301/302 (Weiterleitung): Ein Anteil > 5 % ist kritisch.
  • Aktion: Zielseiten prüfen, bevorzugt 301 (Permanent) nutzen, um Link-Autorität zu vererben.

Bericht über URL-Länge und -Struktur

Google-Crawler haben eine begrenzte „Geduld“ mit langen URLs. Je länger die URL, desto geringer die Wahrscheinlichkeit einer vollständigen Erfassung.

Kerndaten und Aktionen

• Längenverteilung: Idealerweise < 80 Zeichen. URLs über 100 Zeichen sollten gekürzt werden.
• Dynamische Parameter: URLs mit mehr als 3 Parametern sollten optimiert (statisch gemacht) werden.

Bericht über Title-Tags

Der Titel ist das Kernkriterium für Google, um das Thema einer Seite zu bestimmen. Doppelte oder ungültige Titel senken das Ranking direkt.

Kerndaten und Aktionen

• Duplikatsrate: Sorgen Sie für einzigartige Titel für jede Seite (z. B. durch „[Produkt] – [Marke]“).
• Länge: Ideal sind 50–60 Zeichen, da Google Titel ab ca. 600 Pixeln abschneidet.

Bericht über Meta-Beschreibungen

Die Meta-Beschreibung beeinflusst das Ranking nicht direkt, aber sie entscheidet darüber, ob Nutzer auf Ihre Seite klicken.

Kerndaten und Aktionen

• Fehlerrate: Fehlende Beschreibungen (ca. 15-20 % der Seiten) sollten manuell ergänzt werden (150–160 Zeichen).
• Optimierung: Zu lange Beschreibungen werden abgeschnitten; zu kurze liefern zu wenig Information.

Bericht über H1-Tags

Die H1 ist die Hauptüberschrift. Google nutzt sie, um den Hauptinhalt zu verstehen. Jede Seite sollte genau eine H1 haben.

Kerndaten und Aktionen

• Anomalien: Beheben Sie das Fehlen von H1-Tags oder das Vorhandensein mehrerer H1-Tags auf einer Seite.

Bericht über Bild-Alt-Attribute

Das Alt-Attribut beschreibt Bilder textlich. Fehlende Alt-Texte verschwenden Traffic aus der Bildersuche.

Kerndaten und Aktionen

• Füllrate: Sorgen Sie dafür, dass Produktbilder beschreibende Alt-Texte enthalten, anstatt Keywords zu häufen.

Interne Verlinkungsprobleme massenweise prüfen

Statistiken zeigen: Websites, die keine Massenprüfung der internen Links durchführen, haben oft 15-20 % der Seiten, die nicht effizient indexiert werden können.

Deadlinks in der internen Verlinkung

Dies sind Links auf Ihrer Seite, die ins Leere führen (404). Nutzer springen bei solchen Links sofort ab, und Crawler reduzieren die Crawl-Häufigkeit für betroffene Seiten.

Aktion

• Deadlinks entfernen oder durch gültige Ziele ersetzen.

Verwaiste Seiten (Orphan Pages)

Dies sind Seiten, auf die kein einziger interner Link verweist. Crawler finden diese nur schwer; die Indexierungswahrscheinlichkeit sinkt um ca. 60 %.

Aktion

• Verlinken Sie hochwertige verwaiste Seiten in Kategorien oder Artikeln.

Link-Equity-Konzentration

Dies bedeutet, dass die Startseite oder wenige Kernseiten zu viele Links haben, wodurch die „Aufmerksamkeit“ des Crawlers für andere wichtige Seiten sinkt.

Aktion

• Specken Sie unwichtige Links ab und konzentrieren Sie sich auf 5-8 Kernbereiche in der Hauptnavigation.

3 Tipps für die Massenverarbeitung

1. Excel-Filter nutzen: Exportieren Sie die Daten und nutzen Sie Filter, um häufig auftretende Fehlerquellen schnell zu finden.
2. Hochwertige Seiten priorisieren: Fixen Sie Deadlinks zuerst auf der Startseite und in den Hauptkategorien.
3. Regelmäßige Re-Crawls: Crawlen Sie alle zwei Wochen, um den Gesundheitszustand der Linkstruktur zu überwachen.

Schließlich ist das Tool nur ein Hilfsmittel. Der Kern für das Google-Ranking bleiben immer „Inhalte, die der Nutzer braucht“.