konnte mich nicht entscheiden welches Forum ich dafür verwenden sollte, aber ich frage jetzt einfach mal kurz hier nach.
Die meisten haben sicherlich schon mitbekommen das Google nun auch ungehindert CSS & JS crawlen möchte und die Dateien dementsprechend in den robots.txt nicht mehr ausgeschlossen werden sollte. Wurde sogar mit der "schlecht-fürs-Ranking-Keule" gedroht.
Ich habe mir nun heute mal die Webmaster Tools angeschaut und die Funktion "Abruf wie durch Google-Bot" (welche nun ja auch schon erweitert wurde).
Jedenfalls habe ich eine WP-Installation und WP hat in der robots.txt von Haus aus ein noindex auf /wp-include.
Dort liegen auch einige js Datein die Google nun nicht lesen kann.
Sollte man /wp-include jetzt aus der robots.txt schmeißen?
Oder hat es schon seine Gründe warum dort von Haus aus ein noindex drauf ist? Was meint ihr?
Schönen Abend
