Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

robots.txt: Unterseiten von dir/ sperren, aber "dir/&am

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
umwelt
PostRank 6
PostRank 6
Beiträge: 386
Registriert: 16.11.2011, 22:06

Beitrag von umwelt » 21.02.2019, 08:48

Hallo,
ich möchte gerne per robots.txt die Unterseiten eines Verzeichnisses dir/ schützen, aber nicht die Verzeichnis-Hauptseite selbst (default).

es geht um eine Community, die aus geschützten Seiten besteht (Login). Allerdings ist die Hauptseite auch die Login-Seite, wo wichtige Infos zur Community sind, die indexiert werden sollten.

Hat jemand einen Tipp?

dir/* würde ja Unterseiten UND Hauptseite sperren.

mogli
PostRank 9
PostRank 9
Beiträge: 1079
Registriert: 07.06.2011, 14:45

Beitrag von mogli » 21.02.2019, 09:02

umwelt hat geschrieben:es geht um eine Community, die aus geschützten Seiten besteht (Login). Allerdings ist die Hauptseite auch die Login-Seite, wo wichtige Infos zur Community sind, die indexiert werden sollten.
Vorab gilt es zu klären, was dein Ziel ist. Indexierung kann auch trotz einer korrekten robots.txt Anweisung passieren - diese Datei ist kein valides "noindex"-Hilfsmittel.
Zuletzt geändert von mogli am 21.02.2019, 09:04, insgesamt 2-mal geändert.

umwelt
PostRank 6
PostRank 6
Beiträge: 386
Registriert: 16.11.2011, 22:06

Beitrag von umwelt » 21.02.2019, 09:04

das ist mir bewusst. es ist ja auch kein passwortschutz, sondern nur ein Hinweis an Google und Co, dass die internen community-Seiten (wo für den Bot sowieso nur ein Login-Feld erscheint), nicht indiziert werden sollen.
Hat jemand einen Tipp, wie ich es hinbekomme, dass domain.com/dir/ zugänglich ist, nicht aber domain.com/dir/123
Viele Grüße!

mogli
PostRank 9
PostRank 9
Beiträge: 1079
Registriert: 07.06.2011, 14:45

Beitrag von mogli » 21.02.2019, 09:05

umwelt hat geschrieben:das ist mir bewusst. es ist ja auch kein passwortschutz, sondern nur ein Hinweis an Google und Co, dass die internen community-Seiten (wo für den Bot sowieso nur ein Login-Feld erscheint), nicht indiziert werden sollen.
Hat jemand einen Tipp, wie ich es hinbekomme, dass domain.com/dir/ zugänglich ist, nicht aber domain.com/dir/123
Viele Grüße!
Wie gesagt: die robots.txt stellt keinen noindex Hinweis dar.

umwelt
PostRank 6
PostRank 6
Beiträge: 386
Registriert: 16.11.2011, 22:06

Beitrag von umwelt » 21.02.2019, 09:24

also nur per meta noindex, richtig?

arnego2
PostRank 9
PostRank 9
Beiträge: 1498
Registriert: 23.02.2016, 13:55
Kontaktdaten:

Beitrag von arnego2 » 21.02.2019, 18:21

umwelt hat geschrieben:also nur per meta noindex, richtig?
Laut Google ist meta der sichere Weg sich nicht indexen zu lassen.
Arnego2 <Web & Content>

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag