Seite 1 von 1
Es werden immer mehr seiten Indexiert, hab ich was verpasst?
Verfasst: 16.02.2016, 22:06
von MaxTrix
Hat sich was geändert bei Google, was robots.txt angeht? Denn, es werden immer mehr Seiten Indexiert, obwohl bei google auch steht das die seite durch Robots.txt gesperrt ist. Auch in meta robot steht die auf noindex. Bereitet sich google gerade auf was? Hab auch andere Seiten getestet "einige", die haben jetzt auch viel mehr Seiten die im Index sind.
Re: Es werden immer mehr seiten Indexiert, hab ich was verpa
Verfasst: 21.02.2016, 10:17
von Malte Landwehr
MaxTrix hat geschrieben:es werden immer mehr Seiten Indexiert, obwohl bei google auch steht das die seite durch Robots.txt gesperrt ist. Auch in meta robot steht die auf noindex.
Wenn die Seite per robots.txt für Google geblockt ist, kann Google das Meta-Noindex nie sehen. Mit der Robots.txt verhinderst du das Crawling(!) der Seite. In den Index kann sie natürlich trotzdem wandern.
Verfasst: 21.02.2016, 10:50
von MaxTrix
Danke für den Antwort, sehr nützlich. Das war klar, daswegen hab ich auch auf verschiedenen wege versucht. Konnte aber nach einigen rescherschen herausfinden, das wenn ein Link oder mehrere auf eine Seite zeigt, welche gesperrt ist, dann beachtet google noindex, bzw disallow, garnicht. Serverabgleich ist halt das schwierigste bei G...
Da ich seit längeren das habe, vermute ich stark, das es neues fehler bei Google gibt, was die bald rausnehmen werden.
Danke Trotzdem!