ich habe mich in letzter Zeit zwangsweise stark mit SEO und so auch mit der robots.txt beschäftigt.
Im Internet findet man viele verschiedene Antworten auf die Frage, wie eine robots.txt aussehen soll.
Mein Anliegen ist, alle Agents, bis auf ein paar wenige zu verbieten. Die wenigen, die erlaubt sind, sollen nur Zugriff auf bestimmte Verzeichnisse haben.
Ist die Reihenfolge richtig? Stehen irgendwelche Befehle im Widerspruch? Kann ich die Agents einfach untereinander auflisten und dann die Verzeichnisse, oder muss ich die Verzeichnisliste pro Agent wiederholen?
Hier die TXT:
Code: Alles auswählen
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Mediapartners-Google
User-agent: Googlebot-Mobile
User-agent: msnbot
User-agent: msnbot-media
User-agent: Slurp
User-agent: Yahoo-Blogs
User-agent: Yahoo-MMCrawler
User-agent: DuckDuckBot
User-agent: Bingbot
Disallow: /error/
Disallow: /client/
Disallow: /guest/
Disallow: /fonts/
Disallow: /disclaimer.html
Disallow: /impressum.html
Disallow: /weblog/
Disallow: /license.txt
User-agent: *
Disallow: /
Sitemap: http://example.com/sitemap.xml
Vielen Dank für Eure Zeit & Mühe,
--BadBot
