Seite 1 von 1

robots.txt: Unterseiten von dir/ sperren, aber "dir/&am

Verfasst: 21.02.2019, 08:48
von umwelt
Hallo,
ich möchte gerne per robots.txt die Unterseiten eines Verzeichnisses dir/ schützen, aber nicht die Verzeichnis-Hauptseite selbst (default).

es geht um eine Community, die aus geschützten Seiten besteht (Login). Allerdings ist die Hauptseite auch die Login-Seite, wo wichtige Infos zur Community sind, die indexiert werden sollten.

Hat jemand einen Tipp?

dir/* würde ja Unterseiten UND Hauptseite sperren.

Verfasst:
von

Re: robots.txt: Unterseiten von dir/ sperren, aber "dir

Verfasst: 21.02.2019, 09:02
von mogli
umwelt hat geschrieben:es geht um eine Community, die aus geschützten Seiten besteht (Login). Allerdings ist die Hauptseite auch die Login-Seite, wo wichtige Infos zur Community sind, die indexiert werden sollten.
Vorab gilt es zu klären, was dein Ziel ist. Indexierung kann auch trotz einer korrekten robots.txt Anweisung passieren - diese Datei ist kein valides "noindex"-Hilfsmittel.

Verfasst: 21.02.2019, 09:04
von umwelt
das ist mir bewusst. es ist ja auch kein passwortschutz, sondern nur ein Hinweis an Google und Co, dass die internen community-Seiten (wo für den Bot sowieso nur ein Login-Feld erscheint), nicht indiziert werden sollen.
Hat jemand einen Tipp, wie ich es hinbekomme, dass domain.com/dir/ zugänglich ist, nicht aber domain.com/dir/123
Viele Grüße!

Verfasst: 21.02.2019, 09:05
von mogli
umwelt hat geschrieben:das ist mir bewusst. es ist ja auch kein passwortschutz, sondern nur ein Hinweis an Google und Co, dass die internen community-Seiten (wo für den Bot sowieso nur ein Login-Feld erscheint), nicht indiziert werden sollen.
Hat jemand einen Tipp, wie ich es hinbekomme, dass domain.com/dir/ zugänglich ist, nicht aber domain.com/dir/123
Viele Grüße!
Wie gesagt: die robots.txt stellt keinen noindex Hinweis dar.

Verfasst: 21.02.2019, 09:24
von umwelt
also nur per meta noindex, richtig?

Verfasst: 21.02.2019, 18:21
von arnego2
umwelt hat geschrieben:also nur per meta noindex, richtig?
Laut Google ist meta der sichere Weg sich nicht indexen zu lassen.