BeitragSanafan » 04.06.2015, 09:47 Google crawlt URLs trotz gesetztem URL-Parameter
Moin zusammen,
wie kann es angehen, dass Google, obwohl ich explizit festgelegt habe jene URLs nicht zu Crawlen, mir die URLs als Soft 404 ausgibt?
Auf Bild eins ist mein Filter zu sehen, Bild zwei zeigt die Beispielurls und Bild 3 die von Google gemeldeten Fehler - habe ich etwas verkehrt gemacht?
Beitragplanta » 05.06.2015, 10:56 Google crawlt URLs trotz gesetztem URL-Parameter
Weil ja erstmal gecrawlt werden muß, um auch festzustellen, oh - noindex
Also wie schon gesagt worden ist, robots.txt und eine passende Seitenstruktur.
Seiten die nicht gespidert werden sollen in ein Verzeichnis zum Beispiel
BeitragBeloe007 » 05.06.2015, 11:15 Google crawlt URLs trotz gesetztem URL-Parameter
+ Weil der Parameterausschluß/-Einstellungen manchmal sehr zäh beachtet werden.
Ich benutze diese nur um Google die Seite besser verständlich zu machen, also was ein Parameter bewirkt und nur in Ausnahmefällen wirklich zur Steuerung.