Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

Googlebot, der Schlawiner.

Pompom
PostRank 10
PostRank 10
Beiträge: 3751
Registriert: 10.09.2004, 16:38

Beitrag von Pompom » 18.07.2008, 20:29

Ich weiß nicht, ob das nur bei mir ist, aber auf vielen Domains dreht derzeit nur noch ein Googlebot mit einer speziellen IP die Runden, der gemeine Krempling hat die sonst in Rudeln auftretenden Googlebots alle verjagt und beansprucht das Terrain für sich.

Für das Crawlen lässt er sich viiiel Zeit, nur noch ca. 1/3tel der Seitencrawls wie sonst, und dieser Schlingel kommt 1x als normaler Googlebot und dann wieder mit der gleichen IP als Mediabot.

Habt Ihr das auch schon auf einigen Domains festgestellt ?

Anzeige von:

Die Antwort findest du hier: zum Archiv