Vielen Dank für die zahlreichen Antworten.
Ihr habt Recht, Google räumt von selbst schon einiges auf. Worum es mir ging, sind die ganzen nicht-Content-Seiten wie Wordpress-Dateien. Davon gibt es einige - z.B. Login-Seite, Plugin-Files, etc.
Melegrian hat geschrieben:Oder einfacher, warum da ein follow oder nofollow angeben, wenn es nichts zum Folgen gibt in den Dateien? Ich hätte es weggelassen, nur irren ist menschlich, vielleicht irre ich mich auch.
Nein, Du hast Recht. Follow macht in da wirklich keinen Sinn.
Die Frage ist also eigentlich nur, ob dies so "abwärts" im jeweiligen Ordner greift:
Code: Alles auswählen
<Files ~ "*">
Header set X-Robots-Tag "noindex"
</Files>
Somit alle Files im darunterlegenden Ordner davon betroffen sind? Kennt sich damit wer aus? Gehen wir mal von Content-Seiten aus, welche ich nicht im Index haben möchte:
Code: Alles auswählen
example.com/noindex-files/bitte-nicht-indexieren.jpg
example.com/noindex-files/micht-auch-nicht.jpg
example.com/noindex-files/noindex-bitte.txt
example.com/noindex-files/no-no-no.doc
example.com/noindex-files/bitte-nicht-indexieren.jpg
example.com/noindex-files/versteckt.pdf
...unabhängig vom Filetype.