Screaming Frog SEO Spider – Ein wertvolles Werkzeug für die SEO Beratung mit neuen interessanten Funktionen

Jörn Schulz  Jörn Schulz in SEO Tools am 8. Juni 2017

Bereits mehrfach hat ABAKUS über den Screaming Frog SEO Spider als äußerst interessantes SEO Tool berichtet. An dieser Stelle nutze ich die Gelegenheit und gebe einen Überblick über einige ausgewählte neue, und für den SEO Alltag wirklich interessante, Funktionen.

Screaming Frog SEO Spider

Wer den Screaming Frog SEO Spider noch nicht kennen sollte, für den an dieser Stelle eine kurze Zusammenfassung direkt von der Herstellerseite:

Dabei gibt es eine Free-Variante, bei der das Crawling allerdings auf 500 URLs einer Domain beschränkt ist. Die Lizenz-Version gibt es gegen eine entsprechende Jahresgebühr von £149.00 pro Jahr.

Den Screaming Frog gibt es mittlerweile in der Version 7.2 (Stand: 09.06.2017). Welche spannenden Funktionen sind mit dem großen Update auf Version 7 hinzugekommen?

Rendering von Inhalten nun möglich

Nicht nur ein Erfassen wichtiger OnPage-Elemente sowie der internen Verlinkung sind mittels des Screaming Frogs möglich. Mit der Version 7 ist nun auch ein für den Suchmaschinenoptimierer sehr interessantes Rendering der URLs möglich. Dieses gibt wertvolle Hinweise auf die korrekte Darstellung der Inhalte – sowohl für die Crawler als auch die Besucher der gecrawlten URLs.
Sofern das Rendering via JavaScript über die Konfiguration des Spiders aktiviert wird, werden die Inhalte auch entsprechend ausgelesen.

Die Möglichkeit der Einstellung der Fenstergröße (siehe Abb. 1) bietet hier zusätzlich eine sehr interessante Funktion. Die Umstellung auf den mobilen Index bzw. mobile first lässt allerdings weiter auf sich warten. Dennoch kann schon heute der Grundstein für eine suchmaschinenfreundliche Ausrichtung der Website auf die mobile Darstellung gelegt werden: Durch ein Rendern mit „Googlebot Mobile Smartphone“ kann die aktuelle Darstellung der gecrawlten Inhalte für Mobilgeräte über den Screaming Frog ermittelt werden – und so eine möglicherweise notwendige Optimierung vorgenommen werden.

Abb. 1: Verschiedene Möglichkeiten des Renderings

Abb. 1: Verschiedene Möglichkeiten des Renderings

Die Vorschau bzw. der gerenderte Inhalt kann dann im Tab „Rendered Page“ eingesehen werden (siehe Abb. 2).

Abb. 2: Gerenderte Inhalte je URL einsehbar

Abb. 2: Gerenderte Inhalte je URL einsehbar

Hreflang-Attribut wird erfasst

Ab Version 7 unterstützt der Screaming Frog nun noch besser bei Recherchen und Analysen für Internationales SEO.

Sowohl über ein normales Crawling einer Website, als auch über ein Crawling der Sitemap werden die hreflang-Attribute nun ausgelesen (siehe Abb. 3).

Abb.3: hreflang-Attribut in Tab

Abb.3: hreflang-Attribut in Tab

Ausgelesen werden können u.a. falsche Sprachen- bzw. Regional-Codes, fehlende Rückverweise,  fehlende Selbstreferenzen, etc.

Auch URLs, die über keinen hreflang-Attribut verfügen, können somit nun deutlich bequemer ausgelesen und für weitere Optimierungen verwendet werden.

Robots.txt: Es darf getestet werden

Was bereits aus der Google Search Console bekannt ist, kann nun auch im Screaming Frog angewandt werden: Eine Anpassung der robots.txt zu Testzwecken. Der Vorteil beim Screaming Frog: Es kann eine Testversion der robots.txt erstellt werden, ein anschließendes Crawling zeigt, ob die Inhalte auch wirklich ausgeschlossen werden (bzw. nicht gecrawlt werden), die auch beabsichtigt sind.  In der Google Search Console ist dies nur für einzelnen URLs prüfbar (robots.txt – Tester).

Andersherum können so auch URLs herausgefiltert werden, die mit einer aktuellen bzw. zu Testzwecken konfigurierten robots.txt eben durch diese geblockt werden (siehe Abb. 4).

Abb.4: Elemente „blocked by robots.txt filtern“

Abb.4: Elemente „blocked by robots.txt filtern“

Screaming Frog selbst liefert zu diesem spannenden Thema gleich einen Guide mit: „Robots.txt Testing Tool“ (Link: https://www.screamingfrog.co.uk/robots-txt-tester/)

Blockierte Ressourcen nun direkt auslesbar

Eine weitere nützliche Funktion ist die Möglichkeit, blockierte Ressourcen auf URL-Basis nun direkt auslesen zu können. Dies kann zum einen über den entsprechenden Filter unter „Rendered Page“ (siehe Abb. 5), zum anderen auch als Bulk-Export in der Navigation exportiert werden.

Abb.5: Blockierte Ressourcen exportieren

Abb.5: Blockierte Ressourcen exportieren

Crawling von Login-Bereichen

Ein äußerst interessantes Feature ist das nun mögliche Crawling von Inhalten, die hinter einem Passwort geschützten Bereich liegen.

Aus SEO Sicht fallen uns da natürlich sofort Testumgebungen ein, die bei einem Relaunch einer Website unbedingt verwendet werden sollten. Im Zuge einer SEO Relaunchbegleitung sollten vor dem Live-Gang alle Inhalte der neuen Website auf die Berücksichtigung der Rankingkriterien von Suchmaschinen überprüft werden.

Dies ist auch mit dem Screaming Frog möglich – eine sehr sinnvolle Erweiterung (siehe Abb. 6). Über die Navigation kann dies im Bereich Configuration > Authentication eingestellt werden.

Abb.6: Crawling von Passwort geschützten Bereichen

Abb.6: Crawling von Passwort geschützten Bereichen

Fazit

Für technische Optimierungen, der Grundstein einer nachhaltigen Suchmaschinenoptimierung, ist der Screaming Frog SEO Spider ein hochinteressantes Tool. Die mit der Version 7 neu eingeführten Funktionen ergänzen die bereits sehr umfangreichen Möglichkeiten dieses SEO Tools und liefern wichtige Daten einer zu optimierenden Website. Eines der wirklich interessanten Werkzeug, welches auch aus dem Alltag als ABAKUS SEO nicht mehr wegzudenken ist.

 

Weiterführende Infos

https://www.screamingfrog.co.uk/seo-spider/
https://webmasters.googleblog.com/2016/11/mobile-first-indexing.html

 

Jörn Schulz

Über Jörn Schulz

SEO
Jörn Schulz arbeitet seit 2013 als Suchmaschinenoptimierer bei ABAKUS. Gerade die Auswertung und Analyse von Informationen sowie die Formulierung kundenbezogener Empfehlungen bilden einen Schwerpunkt seiner Tätigkeit. Er sieht SEO als Projektmanagement und Teil des Gesamtprojektes einer zukunftsfähigen Unternehmensentwicklung.
Alle Artikel von:


Beitrag kommentieren

EINE ANTWORT HINTERLASSEN

Dein Kommentar wird vor der Freischaltung von einem Admin moderiert.



Verwandte Beiträge

Neue Google Search Console
URL-Prüftool in der neuen Google Search Console für alle Nutzer verfügbar

Mitte Juli wurde es offiziell bekannt gegeben: Das neue URL-Prüftool der neuen Google Search Console ist fortan für alle User verfügbar. Doch was kann dieses Tool überhaupt und welchen Mehrwert bietet es mir als Nutzer? Wir haben uns etwas Zeit genommen und die neue Funktion genauer unter die Lupe genommen. Welche Daten liefert das URL

> WEITERLESEN …

 
Neue Google Search Console
„Darstellung in der Suche“ ab sofort in der neuen Google Search Console integriert

Am 11. April diesen Jahres wurde es nun ganz offiziell auf dem Twitter-Kanal der Google Webmasters angekündigt: User der neuen Google Search Console steht fortan eine weitere Funktion zur Verfügung: Hierbei handelt es sich um die „Darstellung in der Suche“. Regelmäßigen Nutzern der klassischen Google Search Console dürfte diese Bezeichnung nicht neu sein, wie in

> WEITERLESEN …

 
Neue Google Search Console
Ein aktuelles Update zur neuen Google Search Console

Bereits im letzten Monat berichteten wir über Googles neue Search Console. Von Beginn an war klar, dass mit dem Start mit der Beta-Version und dem parallelen Fortbestehen der klassischen Google Search Console nach und nach Updates die neue Version ergänzen werden. Angefangen hat alles mit dem Leistungsbericht, der Indexabdeckung, der Übersicht der Sitemap und, sofern

> WEITERLESEN …

 
Neue Google Search Console
Die neue Google Search Console

Beginnend mit dem moderner erscheinenden Layout, liefert die aktuelle, als Beta-Version verfügbare, Search Console historisch weitreichendere Werte, was die Analyse durchaus interessanter gestaltet. Die ersten Inhalte versprechen so einiges. Wer über ein Google Search Console Konto verfügt, hat die Chance, sich die neue Version über folgenden Link aufzurufen: https://search.google.com/search-console. Die ersten zur Verfügung stehenden Features

> WEITERLESEN …