Bot Aktivität eingebrochen

SloMo · : 04.01.2005 : 4027

Bei einer meiner Sites hat der Googlebot vorher ca. 20.000 Seiten pro Tag abgerufen. Nun sind es nur noch 2.000 Seiten pro Tag. Ich halte das für eine wesentliche Verbesserung des Crawling-Verhaltens und hoffe, dass Google sich mittelfristig auf diesen Wert einstellt. Denn die Informationen sind nicht so aktuell und die Fluktuation ist nicht so hoch, dass Google 20.000 Seiten pro Tag lesen müsste. Dabei sorgt der geringere Google-Traffic dafür, dass meine Seiten laut Webmastertools um ein Drittel schneller laden! (vorher 1.2 Sekunden, nun 0.8 Sekunden)

Vielleicht ist es ja sogar genau das, was Google neuerdings in die Crawling-Intensität einfließen lässt: der negative Einfluss der Googlebots auf den Server. Oder sie beurteilen jetzt geschickter, wie wesentlich die Änderungen auf dynamischen Seiten wirklich sind, damit die Crawler sich auf wesentliche Änderungen des Internet konzentrieren können. Das passt auch hervorragend zu Caffeine, dank dem ja ganz gezielt Teile des Index neu bewertet werden können.

Fridaynite · : 07.01.2004 : 2938 : Recife, Brasil

Nur keine Panik. Der kommt schon wieder. Seit 2 Tagen ist der wieder unterwegs mit teilweise noch stärkerer Aktivität. Wenn er bei Dir nur noch auf 2000 bleibt, solltest Du Dir Sorgen machen.

Lebt keusch und trinkt generell nur ein Bier pro Woche maximal.

SloMo · : 04.01.2005 : 4027

Von Panik kann wirklich keine Rede sein. Es ist sehr an der Zeit, dass die GoogleBots erwachsen werden und statt jedem Link sofort zu folgen einfach mal prüfen, wie sinnvoll ein neuer Crawl ist. Es geht in meinem Fall ja nicht um Seiten, die ständig neue Kommentare oder anderen Inhalt bekommen. Wenn etwas neues kommt, wird Google schon per XML-Sitemap samt Ping informiert und reagiert nach wie vor sehr schnell. Es tut also überhaupt nicht Not, permanent auf den Server einzuprügeln.

profo · : 18.01.2007 : 1709

Bei mir hat die Bot-Aktivität nach der Pause auch (teilweise deutlich) zugenommen. Ich kann hier nicht nachvollziehen, dass Google hier neuerdings einen "Smart-Crawling"-Ansatz fährt. Es ist immer noch der "Viel hilft viel"-Ansatz...

Ceterum censeo facebook esse delendam.

isch · : 24.10.2007 : 19

seit gestern lässt sich der google bot net mehr so oft bei mir blicken

ist das bei euch auch so ?

hab mal was gemacht -> für Dacia Duster Fahrer gibts die DUSTERcommunity und für den Frust zwischendurch die Frustlounge

lois69 · Gast

wurde keine meiner sites vom bot aufgesucht

DeeJay · : 02.12.2005 : 182 : Hamburg

bei mir war der bot bis gestern ca. 23 uhr sehr aktiv (53.193 besuche). ab da an kam kein einziger besuch mehr. heute habe ich lediglich 59!!! besuche bisher gehabt.

wenn ich mir andere projekte anschaue, auf denen ich zugriff habe, sehe ich, dass dies nicht nur bei mir so ist.

über nacht gab es ein paar wenige pr-korrekturen und änderungen. ob dies im zusammenhang steht, how knows

profo · : 18.01.2007 : 1709

isch · : 24.10.2007 : 19

das deprimiert

ich hab mal verschiedene indixierte URLs in den letzten 24h anzeigen lassen, scheint als würde es viele Seiten betroffen haben, bis auf die trafficstarken Seiten wie bild, heise u.s.w da crawlt der bot minütlich fleissig weiter

hab mal was gemacht -> für Dacia Duster Fahrer gibts die DUSTERcommunity und für den Frust zwischendurch die Frustlounge

seoweby · : 16.06.2010 : 45

KAnn es sein, dass das BL Update gerade läuft? Im Dashboard hab ich bei Links zu Ihrer Website gerade "Keine Daten verfügbar" stehen!

Fridaynite · : 07.01.2004 : 2938 : Recife, Brasil

Wenn der Bot einschläft, brauchen sie die Rechnerkapazität für etwas anderes. Ganz normal. Kann alles mögliche sein. Entweder ein Indexupdate, ein Pagrankupdate, ein Backlinkupdate oder ganz was anderes. Das dauert meist 1-2 Tage, dann geht das online danach.

Nullpointer · : 22.04.2005 : 4788 : West Berlin

entwarnung, die berechnen gerade nur meine adsense einnahmen...

Ich kann gar nicht so viel kotzen, wie ich fressen möchte.

profo · : 18.01.2007 : 1709

Von den Einnahmen kannst Du wahrscheinlich Google selbst kaufen

Bot seit 7:50 Uhr zurück, das waren jetzt rund 33 Stunden Pause. Ich würd ja gern wissen, wofür Google die ganze Serverpower nutzt...

Ceterum censeo facebook esse delendam.

Alda · : 27.01.2009 : 4591 : Kaiserslautern

Das sehen wir am Freitag oder Samstag.

.
Suche LT mit Handwerk, Bau, Ausbau Sanierung, evtl. auch mit regionalen Immoseiten o. ä. Domains mit PR 0, 1, 3 und 5 vorhanden, alles saubere, aktive Projekte mit sehr wenig ausgehenden Links. Bei Interesse PM.
Satelliten, reine Affili- oder LT-Sites und anderen Murks bitte stecken lassen.

isch · : 24.10.2007 : 19