Robots.TXT richtig gemacht - Robots-Datei für Suchmaschinen erstellen

Robots.TXT richtig gemacht

Robots-Dateien erstellen

Robots.txt

Es herrscht häufig Verwirrung über die Rolle und Verwendung des robots.txt Tags. Ich hielt es für eine gute Idee, einige der Mythen zu klären, indem ich hervorhebe, wovon robots.txt Dateien genau handeln.

Eine robots.txt Datei dient NICHT dazu, einem Spider der Suchmaschine und anderen Crawlern mitzuteilen, welche Seiten sie spidern dürfen, sondern primär dazu, welche Seiten (und Verzeichnisse) sie NICHT spidern dürfen.

Die meisten Webseiten haben keine robots.txt – und können dadurch auch nicht von dem Vorteil einer robots.txt profitieren. Die robots.txt Datei beeinflusst das Ranking in keinster Weise. Ihr Ziel ist es, bestimmten Spidern (Crawlern) zu verbieten bestimmte Seiten zu besuchen (um sie anschließend in die Suchmaschine zu indexieren).

Es folgen nun einige Gründe, die für das Benutzen einer robots.txt sprechen.

  1. Nicht alle Robots, die Ihre Seite besuchen, haben gute Absichen! Es gibt viele, viele Robots, deren einziger Zweck im Scannen Ihrer Webseite besteht und dem damit verbundenen Extrahieren Ihrer E-mail Adresse zum Zwecke von Spam! Eine Liste der 'schlechten' Robots folgt später noch.
  2. Möglicherweise haben Sie Ihre Webseite noch nicht fertig erstellt oder sie beinhaltet bestimmte, zu schützende Teile. Ich habe zum Beispiel alle robots vor jeder Seite meiner Website ausgeschlossen, solange ich die Seiten noch designte. Ich wollte nicht, dass eine halb-fertige, nicht optimierte Seite mit einer unvollständigen Linkstruktur indexiert wird. Dies hätte dann ein schlechtes Licht auf mich und ABAKUS geworfen. Als die Website dann fertig war, erhielten die Robots auch Zugriff. Dieses Vorgehen gilt im Übrigen auch für die Zeit des Relaunches einer Website.
  3. Sie besitzen einen Mitgliedsbereich, der nicht im Google Cache auftauchen soll. Dem Robot den Zutritt zu verweigern stellt einen Weg dar, dies zu realisieren.
  4. Es gibt Dinge, die Sie privat halten möchten. Wenn Sie einen Blick auf die robots.txt Datei von ABAKUS werfen, werden Sie bemerken, dass ich das Indexieren der Profile aus dem Forum aus Gründen des Datenschutzes unterbinde. Einige Webmaster blockieren den robots auch den Zugriff auf ihr cgi-bin oder den Grafikverzeichnissen.
  5. Lassen Sie uns nun eine sehr einfache robots.txt Datei analysieren.
User-agent: EmailCollector
Disallow: /

Diese Anweisung können Sie kopieren und in Notepad einfügen, als robots.txt speichern und dann in das root Verzeichnis Ihres Servers kopieren (dem Verzeichnis, in dem auch die Index-Datei liegt). Sie untersagen damit einem nervigen Programm namens EmailCollector den Zugriff auf Ihre Website. Das sind doch mal gute Nachrichten für Ihr E-mail Postfach!

SELF HTML Robots kontrollieren

Leider habe ich hier nicht den nötigen Platz für ein komplettes Tutorial zur robots.txt. Jedoch kann ich Ihnen dieses hier empfehlen: SELFHTML - Robots kontrollieren

Oder benutzen Sie einfach die robotsbeispiel.txt Datei, die ich für Sie hochgeladen habe. Kopieren und in Notepad einfügen, speichern und dann hochladen in das root Verzeichnis Ihres Servers.

Auf der Online Tools-Seite finden Sie den Robots.TXT Generator.

Web Design Footer - © - ABAKUS Internet Marketing - Online Marketing mit ♥ aus Hannover