robots.txt

In der robots.txt teilen Sie der Suchmaschine mit, welche Verzeichnisse oder Dateitypen sie indexieren bzw. nicht indexieren darf. Die robots.txt befindet sich im Stammverzeichnis der Website.

Beispiel:
User-agent: *
Disallow: /impressum
Disallow: /*.pdf$

Das Unterverzeichnis /impressum und alle PDF-Dateien (*.pdf) sind für sämtliche Crawler (User-agent: *) gesperrt.

User-agent: Googlebot
Sitemap: http://www.abc.de/sitemap.xml
Disallow: /portraet.html

Die Anweisungen gelten nur für den Googlebot. Der Pfad zur Sitemap ist hinterlegt und die Datei portraet.html ist gesperrt.