Deepcrawl in progress

ralfmann · : 29.04.2003 : 215 : im fast Osten

Was ich komisch finde ist halt, das in den letzten Monaten immer nur der crawler.12 oder crawler. sonstwie bei mir war und jetzt seit einigen Tagen auch (und das recht massiv) der crawl.35 und ähnliche!!

Deshalb glaube ich, das da was größeres im Busche ist.

Gruß

Ralf

PS: Bin immer auf der Suche nach Linkpartnern!!
Mein Webkatalog für Online Shops!!

Ranking-Check · : 05.08.2003 : 515 : Köln

Hallo Alan,
sag mal mit welchem Tools verfolgst du die SPider?

Grüße
Thorsten

Keyword Datenbank: http://www.ranking-check.de/keyword-datenbank.php
Ranking-Check: http://www.ranking-check.de/suchmaschinen.php
Webkataloge, die PR vererben: http://www.ranking-check.de/webkataloge.php

Luckybuy3000 · : 07.11.2003 : 575 : Essen

Alle warten auf den "Google Big Bang" so Witch. Hat sich jetzt gestern irgendetwas in den Logfiles abgezeichnet ?

Zumindest heute früh sieht es hier im Forum ja so aus:online: 13 registrierte, kein versteckter und 97 Gäste !

Werbeplätze frei !

pluto26 · : 05.08.2004 : 85 : Berlin

Ich habe auch sehr starke Zugriffe.

Was ich aber gemerkt habe ist, das nicht alle Seiten die gespidert wurden, automatisch am nächsten Tag im Index sind.

Gruss Pluto

Linktausch? Bitte mailen oder ICQ: 288623193

Webkatalog
Wissenschaftlicher Webkatalog
Reisen
Restposten

Eistee · : 20.07.2004 : 116

Dumme Frage am Rande: Was genau versteht man unter einem "Deepcrawl"?

P.S. Mein Googlebot-Log wächst seit heute nacht auch sehr stark

Mfg, Eistee

Webby · : 17.10.2001 : 5429 : Hannover

@Thorsten,
Ich habe googlestats und spydertrax installiert. Aber eigentlich brauch ich die nichts weil auf diese Forum index seite steht unten die anzahl von gästen, und wenn die 3-7 mal mehr sind als normafür den Zeit,l weist man das Googlebot spielt gerade

Alan

ABAKUS Internet Marketing
Professionelle Suchmaschinenoptimierung und Suchmaschinenmarketing

spoddig · : 05.01.2004 : 267

Hallo,
ich will ja niemandem die Hoffnung auf ein baldiges Update nehmen. Doch das veränderte verhalten der Google Crawler ist sicher kein Anzeichen dafür. Seit ungefähr 5-6 Wochen kann ich eine starke veränderung de Spider feststellen. Es fin damit an das die Crawler nicht nur ein paar Seiten wie üblich mitnahmen sondern auf einen Schwung mehr als 2000Seiten. Das konnte ich bei insgesammt 5 unterschiedlichen Domäns feststellen, danach war einige Tage alles wie immer, jedoch ca. eine Woche später begann das hier von vielen beschriebene Verhalten. Die Spider kommen jetzt immer gleichzeitig im Rudel, und sind wesentlich fleissiger als vorher, allerdings scheint mir dafür der Zeitraum bois sich das gespiderte Ergebnis in den Serps niederschlägt länger zu dauern als früher. Vorher konnte ich oft nach Änderungen bereits am nächsten Tag das Resultat in den Serps sehen, jetzt dauert es bis zu 3 Tagen.
Wird wahrscheinlich damit zusammenhängen das durch das fleißiger Spidern mehr Zeit für eien durchlauf gebraucht wird.
Wie immer kann ich nur sagen das es nur meine bescheidenen Erfahrungen von 5 Portalen sind, kann natürlich alles nur Zufall sei, aber wenn ich das hier so alles lese deckt sich das mit meinen Erfahrungen.

LTX · : 24.05.2004 : 10

Wir hatten vor 5 Tagen auch eine deepcrawl bei einen neuen Kunden-Projekt(Portal). Man konnte deutlich sehen wie sich der bot durch die Seite gräbt. 2 Tage später waren alle seiten neu im index.

d0nut · : 19.08.2004 : 202 : Nidderau

Habe die vielen Gäste von vermeintlichen Google IPs auch schon in meinem Coder Forum festgestellt
jedoch erkennt mein Invision Power Board die Gäste nicht als Google Bots

Was mich noch viel mehr wundert, ist dass eine meiner verbrannten domains (auch mit forum) genauso häufig besucht wird???
Ich dachte schon google lässt sich dort nie wieder blicken

http://www.easy-coding.de | Das Coder Forum

testimax123 · : 16.03.2004 : 445

@eistee

Eistee · : 20.07.2004 : 116

Dachte ich mir schon, bei der Ansicht meines Google Logfiles heut Morgen.

Er durchsucht also die komplette Site, allerdings hat er bei mir auch versucht, veraltete Links zu spidern?

Mal sehen wie lang des noch geht, momentan crawlen sie noch fleissig.

Mfg, Eistee

JR-EWING · : 19.02.2004 : 1098 : Untermeitingen

Also meine Seite hat es jetzt auch kräftig erwischt - fast 50 % Crawl-Anstieg.
Wenn das so weiterläuft muss ich mir wegen dem Traffic Gedanken machen

Spambot Falle - mein Blog
Wem das Wasser bis zum Hals steht, sollte nicht den Kopf hängen lassen.
Follow me on Twitter @ http://twitter.com/thomas_zeithaml

Thor · : 21.05.2003 : 594 : Sankt Ingbert

seit heute morgen 2 Uhr zerpflücken die Googlebots meine Seite:
5000 Zugriffe von Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2400 Zugriffe von Googlebot/2.1 (+http://www.google.com/bot.html)
Neuer Rekord im phpBB Forum 125 "Google Gäste" und immer noch am spidern.

Das merkwürdige ist, der Mozilla/5.0 hängt sich im Forum die Session-Id an. Technisch eigentlich gar nicht möglich da für Gäste die Id gesperrt ist und nur bei Anmeldung übergeben wird. Könnten die Session Seiten noch überbleibsel aus vergangenen Tagen sein oder hat Googlebot sich einfach angemeldet ?

keine