Noindex in robots.txt nicht mehr von Google unterstützt

Philipp Ehring  Philipp Ehring in OnPage SEO am 5. September 2019

Zum 1. September 2019 hat Google die Änderung bekannt gegeben, dass in der robots.txt die Regeln nofollow, noindex sowie crawl-delay nicht mehr unterstützt werden. Viele Webseitenbetreiber setzen noch auf eben jene Praktiken, weshalb sie sich in Zukunft alternative Umsetzungen aneignen müssen. Betroffene Domains werden bereits von Google persönlich informiert, sodass ausreichend Zeit bleibt, Änderungen vorzunehmen.

Mithilfe der disallow-Anweisung besteht weiterhin die Möglichkeit, bestimmte Seiten oder Verzeichnisse einer Domain für das Crawling auszuschließen – daran ändert sich soweit also nichts.


robots.txt, in der bestimmte Ordner gesperrt werden

Kurze Erklärung der drei betroffenen Anweisungen

Integrieren von noindex in die robots.txt

Mit der Einbindung des Eintrags „Noindex: /“ in der robots.txt erwarten sich Webseitenbetreiber, dass die entsprechenden URLs nicht in den Suchergebnissen auftauchen oder (sofern schon vorhanden) entfernt werden sollen. In den Meta-Tags hat  noindex genau diese Wirkung. Durch noindex teilt man der Suchmaschine mit, die Seite nicht in den Index aufzunehmen.

Integrieren von nofollow in die robots.txt

Im Vergleich zu noindex sagt die Anweisung nofollow aus, dass Links auf einer Seite nicht verfolgt werden sollen, wodurch die jeweiligen Ziel-URLs nicht ins Crawling mit eingehen. Das Ziel ist auf der eigenen Seite  ausgehende Links zu setzen, die von Google nicht gewertet werden. Beide Regeln wurden ursprünglich nicht in der robots.txt, sondern in den Meta-Tags eingesetzt.

Integrieren von crawl-delay in die robots.txt

Anders ist dies bei der Anweisung crawl-delay. Hierbei handelt es sich explizit um eine Erweiterung des REPs („Robots Exclusion Protocol“), welches von Yahoo! sowie Microsoft ins Leben gerufen wurde.

Mit crawl-delay wird dem Crawler vorgegeben, wie oft er eine Website besuchen darf. Crawl-delay: 30 bedeutet, dass der Crawler maximal alle 30 Sekunden eine Unterseite von einer Website abrufen darf. Eine Seite mit 100 Unterseiten muss dann also beispielsweise mindestens 3000 Sekunden (100 mal 30 Sekunden), also 50 Minuten indexiert werden. Dieser Befehl dient dazu, Server vor Überlastung zu schützen, falls Crawler im Sekundentakt Anfragen an die Website schicken.

User-agent: Beispielcrawler
Crawl-delay: 30

Die Weiterentwicklung des „Robots Exclusion Protocols“

Lange galt das REP lediglich als ein De-facto-Standard, was im Allgemeinen zu Unsicherheiten seitens der Webmaster führte:

„On one hand, for webmasters, it meant uncertainty in corner cases, like when their text editor included BOM characters in their robots.txt files.“ (Quelle: Google Webmaster Central Blog, 01.07.2019)

Nun hat Google sich dazu entschlossen, das REP zu einem Internetstandard zu ändern. Um Webmastern die Arbeit an der robots.txt zu erleichtern, wurde die C++ Bibliothek aus der Quelle geöffnet. Mit ihr können Google eigene Produktionssysteme für das Parsen sowie Abgleichen von Regeln in robots.txt Dateien genutzt werden.

Die Bibliothek entwickelte sich seit den 1990er Jahren kontinuierlich weiter. Während dieser Zeit erlangte auch Google neue Erkenntnisse darüber, wie die robots.txt von den Webmastern verwendet wird.

Die drei Anweisungen noindex, nofollow, und crawl-delay zählen jedoch zu den Funktionen, die nie von Google dokumentiert wurden, weshalb Ihre Verwendung in Relation zum Googlebot nur marginal ist. Gleichzeitig gibt es jedoch User, die zu den nicht-dokumentierten Regeln (noindex, nofollow und crawl-delay) Anweisungen mit in die robots.txt aufnahmen, die diesen Regeln widersprachen. Dadurch wurden die Regeln teilweise fehlerhaft umgesetzt, was natürlich so nicht beabsichtigt war. Um dies zu optimieren, entschied sich Google nun dazu, die besagten Anweisungen komplett zu ignorieren.

Google bietet Alternativen zur Umsetzung der Regeln noindex, nofollow und crawl-delay

Wer derzeit jedoch noch solche Regeln verwendet, dem bieten sich einige alternative Umsetzungsformen:

  1. noindex in Robots Meta-Tags

Hierfür fügen Sie im Header Bereich (<head>) Ihrer betreffenden URL folgende Zeilen ein:

Für eine Nicht-Indexierung der URL durch die allgemeinen Suchmaschinen-Crawler:

<!DOCTYPE html>
<html>
<head>
<meta name=“robots“ content=“noindex“ />
(…)
</head>
<body>(…)</body>
</html>

Für eine Nicht-Indexierung der URL lediglich durch den Google-Crawler:

<!DOCTYPE html>
<html>
<head>
<meta name=“googlebot“ content=“noindex“ />
(…)
</head>
<body>(…)</body>
</html>
  1. HTTP-Statuscodes 404 und 410

Teilen Sie dem Crawler mit, dass die betroffene URL nicht mehr existiert, sie dementsprechend aus dem Google-Index gelöscht werden kann. Diese Anweisung in der .htaccess entfernt die entsprechende Seite aus dem Index.

Redirect 410 /unterseite
  1. Passwortschutz

Hier verbergen Sie die URL hinter einer vorherigen Login-Aufforderung. Dadurch wird diese Seite ausgeblendet und aus dem Google-Index entfernt.

  1. Disallow Anweisung in der robots.txt verwenden

Mit dieser Anweisung in der robots.txt, welche auch weiterhin von Google beachtet wird, verhindern Sie das Crawlen von URLs. Jedoch kann es hier trotz alledem zu einer Indexierung dieser Seiten kommen. Hier arbeitet Google an der Behebung der Problematik.

So werden beispielsweise gewisse Ordner, wie die interne Suchfunktion oder der Checkout-Prozess während eines Kaufvorgangs via Disallow vom Crawling ausgeschlossen.

User-agent: *
Disallow: /bilderordner1/
Disallow: /search/
Disallow: /checkout/

Die Anweisungen in der robots.txt variieren natürlich jeweils entsprechend des verwendeten Systems.

  1. Remove URL Tool in der Google Search Console

Mithilfe des Google Search Console Remove Tools haben Sie die Möglichkeit, einzelne URLs schnell und individuell aus den Google-Suchergebnissen zu entfernen.

Alternative Möglichkeiten noindex umzusetzen

nofollow Grafik

Google liefert uns also einige alternative Wege, mit denen die Indexierung bestimmter Seiten vermieden werden kann. Welcher nun der für Sie passendste ist, bleibt Ihnen offen zu entscheiden.

Was denken Sie? Welche alternative Regel ist die Beste, um die Anweisungen noindex, nofollow bzw. crawl-delay in der robots.txt zu ersetzen?

Beitrag kommentieren

EINE ANTWORT HINTERLASSEN

Dein Kommentar wird vor der Freischaltung von einem Admin moderiert.



Philipp Ehring

Über Philipp Ehring

SEO
Philipp Ehring hat als Trainee SEO von der Pieke auf bei ABAKUS begonnen und setzt seitdem erfolgreich SEO-Strategien für unsere Kunden um. Er kennt sich bestens in allen Disziplinen des Digitalmarketings aus. Aus seinem Studium bringt er außerdem Kenntnisse aus den Bereichen Regional- & Stadtentwicklung, Tourismus, Geografie mit.
Alle Artikel von:

Verwandte Beiträge

Hidden Content und Infinite Scrolling: SEO Tipps zur Umsetzung

Als Hidden Content bezeichnen Fachleute Inhalte einer Website, die für den User nicht zu sehen, aber im Quelltext vorhanden sind. Dabei unterscheidet man zwischen zwei Arten von Hidden Content. Im ersten Fall versteckt der Websitebetreiber Texte durchgängig vor dem User. Dann kommen die Keywords im Quelltext vor, sind aber für den Website Besucher unsichtbar. Winzige

> WEITERLESEN …

 
10 SEO Tipps für Onlineshops

Je besser ein Onlineshop in den organischen Suchergebnissen platziert ist, umso höher wird die Anzahl potenzieller Käufer sein. Natürlich besteht die Möglichkeit der Anzeige wichtiger Keywords in der bezahlten Suche – jedoch muss hierfür (insbesondere bei sehr umkämpften Begriffen) viel Geld in die Hand genommen werden. Wenn es jedoch gelingt, die eigene Domain für viele

> WEITERLESEN …

 
Keyword Kannibalismus erkennen und beseitigen

In der SEO-Fachsprache gibt es den Begriff „Keyword Kannibalismus“ oder „Kannibalisierung“, was recht brutal klingt und sich am Ende auch sehr ungünstig auf eine Website auswirken kann. Keyword Kannibalismus entsteht immer dann, wenn exakt die gleichen Keywords oder Wortgruppen für mehrere URLs aufgestellt werden oder Suchmaschinen unterschiedlichen Seiten die gleichen Suchbegriffe im Ranking zuordnen. Wurde

> WEITERLESEN …

 
Größere Bedeutung von No Click Searches 2020 – Lösungsvorschläge für Ihre Website

Seit geraumer Zeit ist mehr und mehr deutlich geworden, dass die organischen Suchergebnisse in starker Konkurrenz zu den Google Anzeigen, Images, Rich Snippets, Local Packs, How-To Anfragen, News oder auch Videos stehen. Der Grund: Klicken User auf eben besagte Konkurrenten, fällt ein organischer Klick weg. Dass die bezahlten Anzeigen den organischen Ergebnissen einen gewissen Prozentsatz

> WEITERLESEN …