ABAKUS

Verfasst: **23.01.2015, 15:25**

Hallo,

ich habe diverse Übersichtsseiten mit Linklisten.
Da diese Seiten, außer den Links, nicht besonders viel Text bieten,
würde ich sie gerne via robots.txt ausschließen. Allerdings möchte ich,
dass der Google Bot rotzdem den Links folgt, um alle Content-Seiten indexieren zu können.

Also der Google Bot soll den links auf diesen Seiten folgen, die Seiten selbst aber nicht indexieren.

Leider kann ich nicht auf jeder Seite <meta name="robots" content="noindex,follow" /> (siehe auch: https://de.onpage.org/wiki/Noindex#Sond ... w.E2.80.9C) einbauen, da es ein Template ist.

Ich würde das gerne mit der robots.txt lösen.

Aber wie stelle ich das genau an. Ich kenne hier nur "disallow".
Hierdurch werden die Seiten ja nicht indexiert, aber hangelt der Bot sich trotzdem durch die Links durch?

Vielen lieben Dank Euch,
Eric

Verfasst: **23.01.2015, 21:21**

Onpage.org schreibt dazu aber auch:

Denn durch den „disallow“ Befehl in der robots.txt-Datei wird der Bot angehalten, die Seite nicht zu durchforsten.

...

disallow
•Inhalte sollen erst gar nicht gecrawlt werden

Hieße also, dass Deine Links unsichtbar blieben, denke ich.

https://de.onpage.org/wiki/Noindex

Verfasst: **23.01.2015, 23:18**

Du könntest statt des disallow in der Robots.txt entweder das Template so umproggen, dass es bei Linklisten das noindex,follow in die Meta setzt oder wenn es nicht zuviele Unterseiten sind

- was dann notfalls auch händisch ginge -

über die .htaccess ein X-Robots Tag mit noindex für die jeweiligen Seiten setzen. Das hätte den gleichen Effekt wie das noindex im Meta Tag.

ABAKUS

Google-Bot Links folgen aber nicht indexieren?

Google-Bot Links folgen aber nicht indexieren?