Noindex in robots.txt nicht mehr von Google unterstützt

Philipp Ehring  Philipp Ehring in OnPage SEO am 5. September 2019

Zum 1. September 2019 hat Google die Änderung bekannt gegeben, dass in der robots.txt die Regeln nofollow, noindex sowie crawl-delay nicht mehr unterstützt werden. Viele Webseitenbetreiber setzen noch auf eben jene Praktiken, weshalb sie sich in Zukunft alternative Umsetzungen aneignen müssen. Betroffene Domains werden bereits von Google persönlich informiert, sodass ausreichend Zeit bleibt, Änderungen vorzunehmen.

Mithilfe der disallow-Anweisung besteht weiterhin die Möglichkeit, bestimmte Seiten oder Verzeichnisse einer Domain für das Crawling auszuschließen – daran ändert sich soweit also nichts.


robots.txt, in der bestimmte Ordner gesperrt werden

Kurze Erklärung der drei betroffenen Anweisungen

Integrieren von noindex in die robots.txt

Mit der Einbindung des Eintrags „Noindex: /“ in der robots.txt erwarten sich Webseitenbetreiber, dass die entsprechenden URLs nicht in den Suchergebnissen auftauchen oder (sofern schon vorhanden) entfernt werden sollen. In den Meta-Tags hat  noindex genau diese Wirkung. Durch noindex teilt man der Suchmaschine mit, die Seite nicht in den Index aufzunehmen.

Integrieren von nofollow in die robots.txt

Im Vergleich zu noindex sagt die Anweisung nofollow aus, dass Links auf einer Seite nicht verfolgt werden sollen, wodurch die jeweiligen Ziel-URLs nicht ins Crawling mit eingehen. Das Ziel ist auf der eigenen Seite  ausgehende Links zu setzen, die von Google nicht gewertet werden. Beide Regeln wurden ursprünglich nicht in der robots.txt, sondern in den Meta-Tags eingesetzt.

Integrieren von crawl-delay in die robots.txt

Anders ist dies bei der Anweisung crawl-delay. Hierbei handelt es sich explizit um eine Erweiterung des REPs („Robots Exclusion Protocol“), welches von Yahoo! sowie Microsoft ins Leben gerufen wurde.

Mit crawl-delay wird dem Crawler vorgegeben, wie oft er eine Website besuchen darf. Crawl-delay: 30 bedeutet, dass der Crawler maximal alle 30 Sekunden eine Unterseite von einer Website abrufen darf. Eine Seite mit 100 Unterseiten muss dann also beispielsweise mindestens 3000 Sekunden (100 mal 30 Sekunden), also 50 Minuten indexiert werden. Dieser Befehl dient dazu, Server vor Überlastung zu schützen, falls Crawler im Sekundentakt Anfragen an die Website schicken.

User-agent: Beispielcrawler
Crawl-delay: 30

Die Weiterentwicklung des „Robots Exclusion Protocols“

Lange galt das REP lediglich als ein De-facto-Standard, was im Allgemeinen zu Unsicherheiten seitens der Webmaster führte:

„On one hand, for webmasters, it meant uncertainty in corner cases, like when their text editor included BOM characters in their robots.txt files.“ (Quelle: Google Webmaster Central Blog, 01.07.2019)

Nun hat Google sich dazu entschlossen, das REP zu einem Internetstandard zu ändern. Um Webmastern die Arbeit an der robots.txt zu erleichtern, wurde die C++ Bibliothek aus der Quelle geöffnet. Mit ihr können Google eigene Produktionssysteme für das Parsen sowie Abgleichen von Regeln in robots.txt Dateien genutzt werden.

Die Bibliothek entwickelte sich seit den 1990er Jahren kontinuierlich weiter. Während dieser Zeit erlangte auch Google neue Erkenntnisse darüber, wie die robots.txt von den Webmastern verwendet wird.

Die drei Anweisungen noindex, nofollow, und crawl-delay zählen jedoch zu den Funktionen, die nie von Google dokumentiert wurden, weshalb Ihre Verwendung in Relation zum Googlebot nur marginal ist. Gleichzeitig gibt es jedoch User, die zu den nicht-dokumentierten Regeln (noindex, nofollow und crawl-delay) Anweisungen mit in die robots.txt aufnahmen, die diesen Regeln widersprachen. Dadurch wurden die Regeln teilweise fehlerhaft umgesetzt, was natürlich so nicht beabsichtigt war. Um dies zu optimieren, entschied sich Google nun dazu, die besagten Anweisungen komplett zu ignorieren.

Google bietet Alternativen zur Umsetzung der Regeln noindex, nofollow und crawl-delay

Wer derzeit jedoch noch solche Regeln verwendet, dem bieten sich einige alternative Umsetzungsformen:

  1. noindex in Robots Meta-Tags

Hierfür fügen Sie im Header Bereich (<head>) Ihrer betreffenden URL folgende Zeilen ein:

Für eine Nicht-Indexierung der URL durch die allgemeinen Suchmaschinen-Crawler:

<!DOCTYPE html>
<html>
<head>
<meta name=“robots“ content=“noindex“ />
(…)
</head>
<body>(…)</body>
</html>

Für eine Nicht-Indexierung der URL lediglich durch den Google-Crawler:

<!DOCTYPE html>
<html>
<head>
<meta name=“googlebot“ content=“noindex“ />
(…)
</head>
<body>(…)</body>
</html>
  1. HTTP-Statuscodes 404 und 410

Teilen Sie dem Crawler mit, dass die betroffene URL nicht mehr existiert, sie dementsprechend aus dem Google-Index gelöscht werden kann. Diese Anweisung in der .htaccess entfernt die entsprechende Seite aus dem Index.

Redirect 410 /unterseite
  1. Passwortschutz

Hier verbergen Sie die URL hinter einer vorherigen Login-Aufforderung. Dadurch wird diese Seite ausgeblendet und aus dem Google-Index entfernt.

  1. Disallow Anweisung in der robots.txt verwenden

Mit dieser Anweisung in der robots.txt, welche auch weiterhin von Google beachtet wird, verhindern Sie das Crawlen von URLs. Jedoch kann es hier trotz alledem zu einer Indexierung dieser Seiten kommen. Hier arbeitet Google an der Behebung der Problematik.

So werden beispielsweise gewisse Ordner, wie die interne Suchfunktion oder der Checkout-Prozess während eines Kaufvorgangs via Disallow vom Crawling ausgeschlossen.

User-agent: *
Disallow: /bilderordner1/
Disallow: /search/
Disallow: /checkout/

Die Anweisungen in der robots.txt variieren natürlich jeweils entsprechend des verwendeten Systems.

  1. Remove URL Tool in der Google Search Console

Mithilfe des Google Search Console Remove Tools haben Sie die Möglichkeit, einzelne URLs schnell und individuell aus den Google-Suchergebnissen zu entfernen.

Alternative Möglichkeiten noindex umzusetzen

nofollow Grafik

Google liefert uns also einige alternative Wege, mit denen die Indexierung bestimmter Seiten vermieden werden kann. Welcher nun der für Sie passendste ist, bleibt Ihnen offen zu entscheiden.

Was denken Sie? Welche alternative Regel ist die Beste, um die Anweisungen noindex, nofollow bzw. crawl-delay in der robots.txt zu ersetzen?




Beitrag kommentieren

EINE ANTWORT HINTERLASSEN

Dein Kommentar wird vor der Freischaltung von einem Admin moderiert.



Philipp Ehring

Über Philipp Ehring

SEO
Philipp Ehring hat als Trainee SEO von der Pieke auf bei ABAKUS begonnen und setzt seitdem erfolgreich SEO-Strategien für unsere Kunden um. Er kennt sich bestens in allen Disziplinen des Digitalmarketings aus. Aus seinem Studium bringt er außerdem Kenntnisse aus den Bereichen Regional- & Stadtentwicklung, Tourismus, Geografie mit.
Alle Artikel von:

Verwandte Beiträge

Suchmaschinenoptimierung für Noxum

Das Noxum Publishing Studio ist ein auf XML basierendes Content Management System (CMS) und Redaktionssystem. Noxum ist im Vergleich zu WordPress oder Joomla ein relativ unbekanntes CMS. Dennoch überzeugt das System aktuell diverse namhafte Kunden und bietet somit eine erfolgsversprechende Plattform für Websites an. Besonderheiten von Noxum Das Besondere an Noxum ist die modulare Arbeitsweise

> WEITERLESEN …

 
Landingpage: Agentur beauftragen oder selbst machen?

Eine Landingpage dient dazu, den Nutzer zu einer Aktion (Conversion) zu bewegen. Die potenziellen Kunden erreichen diese Webseite meist durch Klick auf eine Anzeige oder direkt aus den Suchergebnissen. Die alternative Bezeichnung Zielseite deutet es bereits an: Die Seite verfolgt ein bestimmtes Ziel (Kauf eines Produkts, Newsletter-Anmeldung …). Vor und während der Erstellung einer solchen

> WEITERLESEN …

 
Adobe Experience Manager (AEM) und Suchmaschinenoptimierung (SEO)

Der Adobe Experience Manager (AEM) wird von der Softwareschmiede Adobe als „Eine leistungsstarke Kombination für eure Anforderungen an Content-Management und Digital Asset Management“ bezeichnet und „verbindet Digital Asset Management mit der Leistungsfähigkeit eines Content-Management-Systems“, so Adobe. Mit dem Adobe Experience Manager haben wir einen riesigen Tanker oder eher ein Kreuzfahrtschiff im Bereich Content Management und

> WEITERLESEN …

 
CMS für SEO
Die besten CMS für SEO

Ein Content-Management-System (CMS) ermöglicht es jedem User, auch ohne HTML-Kenntnisse, Inhalte auf Webseiten zu verändern. Mittlerweile gibt es sehr viele dieser Systeme, die sich in den technischen Feinheiten unterscheiden. Nur wenige Websitebetreiber verzichten auf die Arbeitserleichterung durch ein CMS. Welches CMS für SEO? Bei Baukastensystemen haben Sie als User nicht die Möglichkeiten, bestimmte Einstellungen zu

> WEITERLESEN …