Wie konfiguriere ich die robots.txt für KI-Crawler?

  Marcel Sarman in OnSite SEO am 26. März 2026

Die robots.txt-Datei gibt Suchmaschinen-Bots Anweisungen, welche Bereiche bzw. Dateien sie crawlen bzw. nicht crawlen sollen. Durch den Ausschluss privater oder unwichtiger Inhalte schonen Sie Ihr Crawl-Budget. Lesen Sie unseren Leitfaden bzw. unseren Lexikon-Eintrag für weitere Details.

Das Grundprinzip der robots.txt besteht darin, bestimmte Dateien, Dateitypen oder Ordner vom Crawling auszuschließen oder fürs Crawling zuzulassen.

Durch die fortschreitende Verbreitung von KI-Suchen und Chatbots stellt sich die Frage, wie Sie Ihre robots.txt anpassen sollten.

• Websites bzw. einzelne Bereiche vor KI-Zugriff schützen
• Metatags hinzufügen
• User-Agents nutzen
• Wie ist die optimale Crawl-delay Einstellung?
• Sitemap.xml: Optimierung des Crawl-Budgets
• Fazit

Websites bzw. einzelne Bereiche vor KI-Zugriff schützen

Durch bestimmte Einstellungen in der robots.txt verhindern Sie die Nutzung Ihrer Daten durch KI-Modelle. Bedenken Sie, dass sich nicht alle Bots an die Anweisungen in dieser Datei halten.

User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Claude-bot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: PerplexityBot
Disallow: /

Meist ergibt diese Komplettblockade wenig Sinn, schützen Sie stattdessen nur bestimmte Seiten vor dem AI-Zugriff. Schließlich wollen Sie ja auch in den KI-Suchen auftauchen und dafür müssen die KI-Bots Ihre Inhalte auch verarbeiten können.

Im Beispiel blockieren Sie beispielsweise den Ordner /private mit nicht-öffentlichen Informationen vor dem Zugriff von ChatGPT:

User-agent: GPTBot
Disallow: /private

Gehen Sie bei Änderungen in der robots.txt-Datei besonders sorgfältig vor und überlassen Sie die Konfiguration im Zweifel Experten für KI-Suchen. Berücksichtigen Sie den Unterschied zwischen dem Googlebot und Google-Extended:

In der Praxis gelten robots.txt-Dateien als optimal, die nur bestimmte Bereiche  aussperren.

# Google darf die Seite indexieren und anzeigen
User-agent: Googlebot
Allow: /

# Nur den admin- bzw. login-Bereich für alle Bots sperren
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /login/

Metatags hinzufügen

Mit dem HTML-Meta-Tag <meta name=“robots“ content=“noai, noimageai“> weisen Sie Bots an, Inhalte wie Texte und Bilder der betreffenden Webseite nicht zum Trainieren von KI-Modellen zu verwenden. Fügen Sie das Tag direkt im Headerbereich Ihrer Seite ein.

Mit diesen Anweisungen sperren Sie gezielt einzelne Seiten. Sie müssen das HTML-Tag somit jeder Seite einzeln hinzufügen bzw. in einem CMS wie WordPress einmal in der header.php einbauen, wenn die Anweisung für alle Seiten gelten soll.  Der Nachteil besteht darin, dass der Bot erst die Seite lädt, um das Tag zu lesen. Somit ist die Variante in der robots.txt ressourcenschonender, weil die Crawler (bei Befolgung der Anweisung)  dann erst gar nicht auf die gesperrten Seiten gehen.

Setzen Sie die Anweisungen noai und noimageai über das X-Robots-Tag, um die Seiten nicht einzeln bearbeiten zu müssen. Das X-Robots-Tag ist Teil des HTTP-Headers und wird vor dem Laden des Seiteninhalts gesendet.

    Header set X-Robots-Tag "noai, noimageai"

<?php 
header("X-Robots-Tag: noai, noimageai");
?>

Bei Implementierung (Befolgung) dieses Tags verwenden AI-Bots die Daten nicht zum KI-Training. Leider zählt auch diese Anweisung nicht zum Standard und viele Bots ignorieren dieses Metatag.

User-Agents nutzen

Browser (Bots) senden einen User-Agent-String an den Webserver. Dadurch erkennt der Server Browser, Betriebssystem und Version. Der String kann in der .htaccess verwendet werden, um den Zugriff auf die Seite zu verhindern. So sperren Sie die AI-Bots aus:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ClaudeBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Google-Extended [NC,OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} PerplexityBot [NC]
RewriteRule ^.* - [F,L]

Nachteil: Jeder Bot kann sich als normaler Browser ausgeben und den User-Agent faken.

Wie ist die optimale Crawl-delay Einstellung?

Mit Crawl-delay weisen Sie die Bots an, eine bestimmte Anzahl an Sekunden zu warten, bevor sie die nächste Seite crawlen. Die Anweisung soll Server-Überlastung durch Bots verhindern.

User-agent: *
Crawl-delay: 2

#Aggressive Crawler (wie SEO-Tools) bremsen
User-agent: Agrresiver-Crawler
Crawl-delay: 2

Über Marcel Sarman

IT-Abteilung

Marcel Sarman betreut die ABAKUS Website und entwickelt sie weiter. Er ist unser Experte für HTML5, CSS3 und WordPress und schreibt Beiträge für unsere Seite.
Alle Artikel von: Marcel Sarman