Google kümmert sich nicht um robots.txt

Kerstin83 · **Kerstin83** » 04.03.2016, 20:15 **Google kümmert sich nicht um robots.txt**

Liebes Forum

ich habe eine robots.txt erstellt und darin google und anderen Suchmaschinen "verboten" die Seiten in dem Verzeichnis domain.de/test/ zu crawlen. Das habe ich in der Search Console getestet und es war alles richtig geblockt.
Dann habe ich dort Seiten aufgebaut. Jetzt habe nach einigen Begriffen von der Seite gesucht und musste feststellen, dass die Seiten von Google doch gecrawlt wurden, sie ranken sogar recht gut.

Wie kann das sein?
Und wie werde ich die Indexierung wieder los?

Liebe Grüße

Kerstin

Can · **Can** » 04.03.2016, 20:37 **Google kümmert sich nicht um robots.txt**

Hatten wir vor 3 Tagen schonmal. robots.txt Ausschluss bedeutet nicht Indexierungsverbot.

Maßnahme:
-> Robots.txt disallow für /****/ wieder entfernen.
-> Alle betroffenen Seiten mit noindex versehen

fertig.

Kerstin83 · **Kerstin83** » 04.03.2016, 23:23 **Google kümmert sich nicht um robots.txt**

Vielen Dank für die Antwort.

robots.txt Ausschluss bedeutet nicht Indexierungsverbot.

sondern? Ich dachte, genau dafür ist die robot.txt da. Verbot ist natürlich etwas übertrieben, aber ich dachte google hält sich daran.

Ist noindex auf der Seite stärker?
Und warum soll ich den Eintrag in robots.txt löschen?

Liebe Grüße

Kerstin

Can · **Can** » 05.03.2016, 00:01 **Google kümmert sich nicht um robots.txt**

Kerstin83 hat geschrieben:Vielen Dank für die Antwort.

robots.txt Ausschluss bedeutet nicht Indexierungsverbot.
sondern? Ich dachte, genau dafür ist die robot.txt da. Verbot ist natürlich etwas übertrieben, aber ich dachte google hält sich daran.

Ist noindex auf der Seite stärker?
Und warum soll ich den Eintrag in robots.txt löschen?

Liebe Grüße

Kerstin

Weil du gefragt hast "Und wie werde ich die Indexierung wieder los? "
...

Erklärung: Robots ist dazu gedacht um zu verhindern das rechenintensive Seiten oft von crawlern aufgerufen werden die da nix zu suchen haben.

ist ein robots disallow darauf kann das "noindex" zudem nicht erkannt werden. Hier beißt sich das ein bisschen mit der Annahme dass die Seite dnan auch nicht in den Index kommen könnte - ist aber nun mal so.

noindex ohne disallow ist also das einzige was eine Indexierung in dem Sinne verhindert.

Kerstin83 · **Kerstin83** » 05.03.2016, 13:08 **Google kümmert sich nicht um robots.txt**

So ist das also. Ich dachte immer, mit disallow in der robots.txt würde man den Suchmaschinen sagen, dass sie die Seite nicht indexieren sollen. Vielen Dank.

Dann muss ich mal schauen, wie ich in dem cms-System ein "noindex" auf die Seiten kriege.

Wirkt denn ein noindex auch auf die Unterseiten?

Und werden die Seiten mit noindex dann wieder aus dem Index rausgenommen oder muss man sie manuell entfernen?

Liebe Grüße

Kerstin

Rasputin · **Rasputin** » 05.03.2016, 13:46 **Google kümmert sich nicht um robots.txt**

Kerstin83 hat geschrieben: Wirkt denn ein noindex auch auf die Unterseiten?

Und werden die Seiten mit noindex dann wieder aus dem Index rausgenommen oder muss man sie manuell entfernen?

Liebe Grüße

Kerstin

Bei jeder einzelnen Unterseite muss noindex stehen. Dann verschwinden die Seiten automatisch nach und nach wieder aus dem Index (nachdem sie erneut gecrawlt wurden).