Screaming Frog – 10 Power-Tipps für bessere SEO

Warum der Screaming Frog mein absolutes SEO Tool Nr. 1 ist und welche Funktionen Du unbedingt testen solltest, wenn Du bessere Rankings erzielen willst, das erfährst Du im Folgenden. Hier sind meine 10 Tipps, die Dein SEO noch besser machen.

Tipp 1: Erst überlegen, dann crawlen

Willst Du eine Seite vollständig crawlen um sie zu analysieren oder kennst Du die Seite schon und Dir reichen einzelne Informationen?

Wenn Du zum Beispiel ein einzelnes Verzeichnis crawlen willst, musst Du nur unter „Configuration“ und „Include“ folgenden Befehl eingeben: 

.*https://www.domain.com/verzeichnis1/.*

Dann dieses Verzeichnis in „Enter URL to spider“ eintragen und es werden nur noch URLs des ausgewählten Verzeichnisses gecrawlt.

Auch kannst Du bestimmte URLs mit bestimmten Eigenschaften vom Crawling ausschließen, zum Beispiel URLs, die mit einem „noindex“-Tag versehen sind.

Ebenso kannst Du Bilder, CSS-Dateien und andere Dateitypen aus dem Crawl herausnehmen. Die Auswahlmöglichkeiten sind groß, deshalb solltest Du Dir vor dem Crawling überlegen, was genau Du wissen willst. Das macht das Crawling schneller und erleichtert Dir später die Analyse 

98 % aller Internetnutzer:innen aus allen Altersgruppen benutzen monatlich eine Suchmaschine Datareportal, 2020

Tipp 2: Indexierbarkeit sehen

In der Spalte Indexability siehst Du auf einen Blick, ob eine Seite von Google indexiert werden kann. Hat eine Seite nicht den Statuscode 200, ist auf noindex gesetzt, verweist per Canonical auf eine andere Seite oder wurde durch noindex ausgeschlossen, ist sie für Suchmaschinen nicht indexierbar. Der jeweilige Grund, warum das so ist, ist in der Spalte „Indexability Status“ erörtert.

Kostenloses E-Book: Erfolg im E-Commerce

Mit strukturierten Daten erfolgreich E-Commerce betreiben. Jetzt in unserem kostenlosen E-Book nachlesen!

Tipp 3: Crawling planen und automatisieren

Unter „File“, „Scheduling“ und „Add“ kannst Du die Crawlings zeitlich terminieren. Allgemeine Informationen wie den Namen des Crawls oder das Zeitintervall kannst Du unter „General“ auswählen. Unter „Start Options“ kannst Du einstellen, welche Seiten gecrawlt und welche Daten hinzugezogen werden. Besonders interessant: Du kannst Daten aus der Google Search Console und Google Analytics hinzuziehen und damit beispielsweise automatisierte Qualitätssicherungen erstellen.

Unter “Export” kannst Du verschiedene Einstellungen zum Export einstellen. Zum Beispiel, ob die Daten überschrieben werden oder mit Zeitangabe jeweils in neuen Dateien abgespeichert werden sollen. Damit sind automatisierte Qualitätssicherungen ein leichtes Spiel.

Tipp 4: Google-Analytics-Daten im Screaming Frog analysieren

Eine praktische Funktion ist die Integration von Google-Analytics-Daten in einen Screaming-Frog-Crawl. Dazu musst Du im Hauptmenü nacheinander auf „Configuration“, „API Access“ und „Google Analytics“ klicken und in dem sich öffnenden Fenster auf “Connect to New Account”. Ein Browserfenster öffnet sich und Du musst bestätigen, dass der Screaming Frog auf Google-Daten zugreifen darf.

Jetzt solltest Du im Menü noch folgende Punkte festlegen:

• User Account: Hier kannst Du den Account, die Property, die View und das gewünschte Segment auswählen.
• Date Range: Hier muss ein Start- und ein Enddatum eingegeben werden, also der Zeitraum für den Du Daten haben willst.
• Metrics: Hier kannst Du bis zu 20 Metriken auswählen, die in Screaming Frog integriert werden sollen. Zur Auswahl stehen u.a. User, Session und Goals

Du willst mehr zum Thema SEO erfahren? Dann findest du hier unsere SEO-Tipps!

Startest Du nun den Crawl, laufen die Daten unter „Internal“ in neu hinzugekommenen Spalten ein. Du hast in einer Zeile die üblichen Screaming Frog Daten, sowie die integrierten Traffic Daten aus Google Analytics. Der Vorteil ist, dass Du Daten aus zwei Quellen in einer Tabelle hast. Damit kannst Du einen Arbeitsschritt überspringen – das spart Zeit und ermöglicht den Vergleich sehr vieler Daten auf einen Blick.

Der Nachteil ist, dass Du immer nur mit einem Account verknüpft sein kannst und vor jeder Nutzung dieser Funktion eine Verbindung mit Google Analytics herstellen musst. Willst Du nacheinander verschiedene Seiten untersuchen, musst Du die Verbindung erst trennen und für eine weitere Seite entsprechende Einstellungen vornehmen.

Tipp 5: Search-Console-Daten im Screaming Frog analysieren

Analog zu den Google-Analytics-Daten lassen sich auch Werte aus der Google Search in den Screaming Frog importieren. Dies kannst Du unter „Configuration“ – „API Access“ und „Google Search Console“ einstellen.

Unter „User Account“ kannst Du den Screaming Frog mit der Search Console verbinden und unter „Date Range“ stellst Du den Zeitraum ein. In dem Tab „Dimension Filter“ kannst Du unter anderem die Devices auswählen, die Einstellungen unter „General“ kannst Du so beibehalten. Crawlst Du nun die Seite, wird den jeweiligen URLs die Daten der Search Console hinzugefügt:

Mithilfe der Verknüpfung von URL und Search Console Daten kannst Du beispielsweise URLs mit niedriger CTR identifizieren, um entsprechende Formatierungen vornehmen zu können. In Kombinationen mit einem automatisierten Crawling erhältst Du aussagefähige Reportings oder Qualitätssicherungen.

Tipp 6: Interne Verlinkung und Status Codes der erreichbaren URLs prüfen

Gerade bei Online Shops kommst Du nicht umhin, regelmäßig die interne Verlinkung und die Status Codes der URLs zu prüfen. Dies liegt daran, dass in den Shops regelmäßig Produkte wegfallen und neue Produkte ins Sortiment aufgenommen werde. Hier bietet der Screaming Frog eine große Hilfe, da sich mit ein paar Klicks die gesamte interne Verlinkungsstruktur im Excel-Format exportieren lässt. Diese Funktion findest Du im oberen Menü unter dem Punkt „Bulk Export“. Unter diesem Punkt „All in Links“ auswählen, als Dateityp „Excel Workbook“ wählen und schon hast Du eine Excel Tabelle mit allen internen Links. Zusätzlich hast Du wichtige Informationen wie die URL, auf der sich der Link finden lässt, den Ankertext, die Ziel-URL, auf die verwiesen wird, und den Status Code der Zielseite. Mit Hilfe dieser Angaben lassen sich die internen Links, die Links auf 404 Fehlerseiten oder auch Seiten, die via Status Code 301 weitergeleitet werden, einfach herausfiltern.

Tipp 7: Hierarchische Ebenen und Klicktiefe analysieren

Bei großen Webseiten ist die hierarchische Seitenstruktur ein wichtiges Thema. Oft kommt es vor, dass wichtige Unterseiten sich erst mit 7 oder 8 Klicks von der Startseite aus erreichen lassen. Somit werden sie unter Umständen von den Suchmaschinen beim Crawlen nicht erfasst.

Der Screaming Frog bietet im rechten Bereich unter dem Tab „Site Structure“ eine Tabelle, in der aufgeführt wird, wie viele URLs sich mit einer bestimmten Anzahl an Klicks erreichen lassen. Ebenso ist eine grafische Darstellung der Seitenhierarchie zu finden, durch die Du schnell einen Überblick über die Klicktiefe einer Seite bekommst.

Für detaillierte Informationen musst Du im linken Bereich zurück zu dem Tab „Internal“ wechseln. Hier wird für jede URL das Level angegeben, auf der sich die Unterseite befindet.

Wichtig: Starte das Crawling mit der Standarddomain, also in der z.B. mit https://www.domain.com und nicht mit domain.com, damit Du das Ergebnis nicht verfälschst, da jede Weiterleitung als eine Ebene angesehen wird.

Tipp 8: Überschriftenstruktur erfassen

H1- und H2-Überschriften werden von Screaming Frog ohnehin schon erfasst. Für die Gliederung von Texten werden selten H3-, H4- und H5-Überschriften verwendet. Es kommt allerdings oft vor, dass solche Überschriften zur Gestaltung von Menü- und Navigationselementen genutzt werden, was eigentlich nicht deren Aufgabe ist.

Mit Hilfe der Custom-Extraction-Funktion kannst Du den Crawl so erweitern, dass neben H1- und H2-Überschriften weitere Überschriften bzw. Überschriftenauszeichnungen erfasst werden. Dadurch sparst Du Dir die zeitaufwendige manuelle Suche in den Quelltexten der einzelnen URLs. Dazu musst Du im Hauptmenü auf „Configuration“ klicken, dann auf „Custom“ und „Extraction“. In dem folgenden Fenster kannst Du bis zu zehn Regeln eingetragen. Bevor Du etwas anderes eintragen kannst, musst Du in der zweiten Spalte im Dropdown-Menü „RegEx“ auswählen. Jetzt kannst Du links eine Bezeichnung eingeben, die als Spaltenname in der Crawl-Ergebnistabelle fungiert. In die dritte Spalte kannst Du folgende Formel schreiben:

<h3>(.*?)</h3>

Diese sagt aus, dass alles angezeigt wird, was zwischen dem öffnenden <h3> und dem schließenden </h3> Tag steht.

Diesen Vorgang kannst Du mehrfach wiederholen und Abfragen für h4-, h5- und ggf. weitere Überschriftenauszeichnungen anlegen. Hierzu muss in der Formel nur das h3 jeweils durch die entsprechende andere Überschrift ersetzt werden.

Mit der RegEx Funktion kannst Du nicht nur Überschriften untersuchen, sondern Dir auch anzeigen lassen, auf welcher Seite was für ein Google Tag Manager Code zu finden ist. Eine tolle Variante, um das Tracking zu überprüfen. Dies geht in der Regel mit folgendem Code: [„‚](GTM-.*?)[„‚]

Google verarbeitet rund 40.000 Suchanfragen pro Sekunde und erhält täglich rund 3,5 Milliarden Suchanfragen

Internetlivestats, 2023

Tipp 9: Ausdrücke suchen

Mit der Custom Search kannst Du prüfen, ob und wenn ja, wie oft ein bestimmter Ausdruck auf spezifischen URLs zu finden ist. Hierzu gibst Du den gewünschten Ausdruck in die Custom Search mit dem Filter „Contains“ ein.

Input

Output

Die Anwendungsfälle sind vielfältig. So kannst Du zum Beispiel ohne großen Aufwand Ankertexte für interne Verlinkungen finden und prüfen, ob ein bestimmter Code (z.B. der des Tag Managers) auf allen Unterseiten eingebaut ist. Oder Du kannst herausfinden, wie oft das Haupt-Keyword in allen Seitenbereichen zu finden ist. Auch der umgekehrte Fall ist möglich, also zu prüfen auf welcher Seite ein Ausdruck, ein Code oder Sonstiges fehlt.

Tipp 10: Backlinks untersuchen

Auch wenn die Relevanz von Backlinks stetig abnimmt, noch sind gute Backlinks wichtig für die Rankings einer Seite. Sobald Du aus anderen Quellen (Sistrix, LinkResearch Tools, Google Search Console etc.) Linkinformationen zusammen getragen hast, kannst Du mit dem Screaming Frog beispielsweise folgendes analysieren:

• Sind die Linkquellen noch vorhanden? Lade alle Quell-URLs mit „Mode“ – „List“ – „Upload“ und „Paste“ in den Screaming Frog, mache einen Crawl und schaue Dir an, ob die Linkquellen noch vorhanden sind (Statuscode 200) oder im Laufe der Zeit weggefallen sind (Statuscode 404).
• Führen die Backlinks korrekte Ziele Deiner Seite? Gleiche Vorgehensweise wie eben, nur dass diesmal die Linkziele gecrawlt werden. Führen die Backlinks auf eine vorhandene Seite (Statuscode 200) oder auf eine Fehlerseite (Statuscode 404). Wenn sie auf eine Fehlerseite führen, sprechen wir von einem Broken Backlink. Hier gibt es zwei Optimierungsmöglichkeiten, die Du am besten kombinierst: 1. Passe das Linkziel des Backlinks an der Quelle an, indem Du z.B. den entsprechenden Webseitenbetreiber kombinierst 2. Richte eine 301-Weiterleitung vom bisherigen Ziel des Broken Backlinks zu einer passenden Seite ein

Auch die Art der Verlinkung, die Ankertexte und vieles mehr, können mit dem Screaming Frog analysiert werden.

Kostenloses Webinar: Google Core Web Vitals

Die Google Core Web Vitals werden zum Rankingfaktor. Was Du jetzt beachten solltest, erfährst Du hier! Jetzt Webinar ansehen

Fazit

Der Screaming Frog ist ein sehr vielseitiges Tool, welches ständig verbessert wird. Es gibt eine Vielzahl von Möglichkeiten, wie der Screaming Frog (nicht nur) im SEO genutzt werden kann. Die von mir genannten zehn Tipps decken wichtige Bereiche der Suchmaschinenoptimierung ab und sind vielseitig nutzbar. Das Tolle: Im Vergleich zu vielen anderen SEO-Tools ist der Screaming Frog günstig, nutzerfreundlich und es gibt vom Hersteller eine Vielzahl von Tipps, wie das Tool genutzt werden kann.

Wenn Du noch mehr aus den Suchergebnissen für Dein Unternehmen rausholen möchtest, dann findest du in diesem Video weitere Tipps: