Webseiten ohne Robots Angaben
Verfasst: 16.01.2014, 17:34
Mir ist heute aufgefallen das zb spiegel.de auf ihrer gesamten Webseite auf robots Angaben verzichtet. Irgendwo meine ich auch gelesen zu haben das man unbedingt so etwas vermeiden sollte (Vielleicht hat jemand nen Link?)
Könnte das Aussparen der Robots Angaben negative Auswirkungen haben? Aber scheinbar führt das einfach nur dazu das Google ohne Bedingungen die gesamte Webseite crawlt, oder?
Könnte das Aussparen der Robots Angaben negative Auswirkungen haben? Aber scheinbar führt das einfach nur dazu das Google ohne Bedingungen die gesamte Webseite crawlt, oder?