Bot Aktivität eingebrochen

SloMo · PostRank 10 Anmeldungsdatum: 04.01.2005 Beiträge: 3753

Bei einer meiner Sites hat der Googlebot vorher ca. 20.000 Seiten pro Tag abgerufen. Nun sind es nur noch 2.000 Seiten pro Tag. Ich halte das für eine wesentliche Verbesserung des Crawling-Verhaltens und hoffe, dass Google sich mittelfristig auf diesen Wert einstellt. Denn die Informationen sind nicht so aktuell und die Fluktuation ist nicht so hoch, dass Google 20.000 Seiten pro Tag lesen müsste. Dabei sorgt der geringere Google-Traffic dafür, dass meine Seiten laut Webmastertools um ein Drittel schneller laden! (vorher 1.2 Sekunden, nun 0.8 Sekunden)

Vielleicht ist es ja sogar genau das, was Google neuerdings in die Crawling-Intensität einfließen lässt: der negative Einfluss der Googlebots auf den Server. Oder sie beurteilen jetzt geschickter, wie wesentlich die Änderungen auf dynamischen Seiten wirklich sind, damit die Crawler sich auf wesentliche Änderungen des Internet konzentrieren können. Das passt auch hervorragend zu Caffeine, dank dem ja ganz gezielt Teile des Index neu bewertet werden können.
_________________
Alle Menschen sind gleich. Die Würde des Menschen ist unantastbar. Theoretisch.
Unterschreibe jetzt für den Wandel vom asozialen Überwachungsstaat zur freien Gesellschaft!
Unterschriftenaktion zum Grundeinkommen

Fridaynite · Verfasst am: 19.06.2010, 10:49 Titel: Bot Aktivität eingebrochen

Nur keine Panik. Der kommt schon wieder. Seit 2 Tagen ist der wieder unterwegs mit teilweise noch stärkerer Aktivität. Wenn er bei Dir nur noch auf 2000 bleibt, solltest Du Dir Sorgen machen.
_________________
Lebt keusch und trinkt generell nur ein Bier pro Woche maximal.

SloMo · PostRank 10 Anmeldungsdatum: 04.01.2005 Beiträge: 3753

Von Panik kann wirklich keine Rede sein. Es ist sehr an der Zeit, dass die GoogleBots erwachsen werden und statt jedem Link sofort zu folgen einfach mal prüfen, wie sinnvoll ein neuer Crawl ist. Es geht in meinem Fall ja nicht um Seiten, die ständig neue Kommentare oder anderen Inhalt bekommen. Wenn etwas neues kommt, wird Google schon per XML-Sitemap samt Ping informiert und reagiert nach wie vor sehr schnell. Es tut also überhaupt nicht Not, permanent auf den Server einzuprügeln.
_________________
Alle Menschen sind gleich. Die Würde des Menschen ist unantastbar. Theoretisch.
Unterschreibe jetzt für den Wandel vom asozialen Überwachungsstaat zur freien Gesellschaft!
Unterschriftenaktion zum Grundeinkommen

profo · PostRank 9 Anmeldungsdatum: 18.01.2007 Beiträge: 1236

Bei mir hat die Bot-Aktivität nach der Pause auch (teilweise deutlich) zugenommen. Ich kann hier nicht nachvollziehen, dass Google hier neuerdings einen "Smart-Crawling"-Ansatz fährt. Es ist immer noch der "Viel hilft viel"-Ansatz...
_________________
"Wit beyond measure is man's greatest treasure"

isch · PostRank 1 Anmeldungsdatum: 24.10.2007 Beiträge: 19

seit gestern lässt sich der google bot net mehr so oft bei mir blicken

ist das bei euch auch so ?
_________________
hab mal was gemacht -> für Dacia Duster Fahrer gibts die DUSTERcommunity und für den Frust zwischendurch die Frustlounge

lois69 · Verfasst am: 29.06.2010, 07:30 Titel: sei 24.

wurde keine meiner sites vom bot aufgesucht
_________________
Lois
linktausch interesse:

Garten aus der .at Domain

DeeJay · Verfasst am: 29.06.2010, 10:48 Titel: Bot Aktivität eingebrochen

bei mir war der bot bis gestern ca. 23 uhr sehr aktiv (53.193 besuche). ab da an kam kein einziger besuch mehr. heute habe ich lediglich 59!!! besuche bisher gehabt.

wenn ich mir andere projekte anschaue, auf denen ich zugriff habe, sehe ich, dass dies nicht nur bei mir so ist.

über nacht gab es ein paar wenige pr-korrekturen und änderungen. ob dies im zusammenhang steht, how knows

profo · PostRank 9 Anmeldungsdatum: 18.01.2007 Beiträge: 1236

isch · PostRank 1 Anmeldungsdatum: 24.10.2007 Beiträge: 19

das deprimiert

ich hab mal verschiedene indixierte URLs in den letzten 24h anzeigen lassen, scheint als würde es viele Seiten betroffen haben, bis auf die trafficstarken Seiten wie bild, heise u.s.w da crawlt der bot minütlich fleissig weiter

_________________
hab mal was gemacht -> für Dacia Duster Fahrer gibts die DUSTERcommunity und für den Frust zwischendurch die Frustlounge

seoweby · PostRank 2 Anmeldungsdatum: 16.06.2010 Beiträge: 46

KAnn es sein, dass das BL Update gerade läuft? Im Dashboard hab ich bei Links zu Ihrer Website gerade "Keine Daten verfügbar" stehen!

Fridaynite · Verfasst am: 29.06.2010, 14:36 Titel: Bot Aktivität eingebrochen

Wenn der Bot einschläft, brauchen sie die Rechnerkapazität für etwas anderes. Ganz normal. Kann alles mögliche sein. Entweder ein Indexupdate, ein Pagrankupdate, ein Backlinkupdate oder ganz was anderes. Das dauert meist 1-2 Tage, dann geht das online danach.

Nullpointer · Verfasst am: 29.06.2010, 15:05 Titel: Bot Aktivität eingebrochen

entwarnung, die berechnen gerade nur meine adsense einnahmen...
_________________
Ich kann gar nicht so viel kotzen, wie ich fressen möchte.

profo · PostRank 9 Anmeldungsdatum: 18.01.2007 Beiträge: 1236

Von den Einnahmen kannst Du wahrscheinlich Google selbst kaufen

Bot seit 7:50 Uhr zurück, das waren jetzt rund 33 Stunden Pause. Ich würd ja gern wissen, wofür Google die ganze Serverpower nutzt...
_________________
"Wit beyond measure is man's greatest treasure"

Alda · Verfasst am: 30.06.2010, 11:46 Titel: Bot Aktivität eingebrochen

Das sehen wir am Freitag oder Samstag.
_________________
Suche LT mit Handwerk, Bau, Ausbau Sanierung, evtl. auch mit regionalen Immoseiten o. ä.
Domains mit PR 0, 1, 3 und 5 vorhanden, alles reguläre Projekte mit sehr wenig ausgehenden Links. Bei Interesse PM.

Helft mit beim Kampf gegen die Killerkokosnüsse. Statistisch betrachtet, werden jedes Jahr nur sieben Menschen durch Haiangriffe getötet. Mehr als die zehnfache Menge stirbt aber durch herab fallende Kokosnüsse.

isch · PostRank 1 Anmeldungsdatum: 24.10.2007 Beiträge: 19