alle 3 sekunden ein (sinnloser) request vom google bot

gaggi · : 21.03.2007 : 10

Hallo, ich habe da ein kleines problem....

irgendwie hat sich der googlebot jetzt auf meine page verirrt und will nicht wieder weg ^^

undzwar versucht er ständig ohne erkennbaren grund dateien wie "/calendar_scheduler.php?d=1065229200&mode=hour&sid=963d1afa095883fc7d6e91f5937844dd" es ist immer die "calendar_scheduler.php" mit wechselndem querry. Er lässt sich auch von der robots.txt nicht wirklich beeindrucken.

Eigentlich störts mich nicht wirklich bis darauf das er meine logs ziemlich vollspammt hatte das problem vieleicht schonmal wer und kann mir ein paar tips geben?

DZVO · : 27.12.2005 : 476

ja das hatte ich auch mal für 3 tage

und zwar hatte ich links ins nirvada geschickt seitdem die links wieder funktionieren ist auch wieder ruhe in den logs also linkstruktur mal anschauen.

kuckst du oder schluckst du .... | FollowTheMillion sag ich nur

SloMo · : 04.01.2005 : 4027

Welche IP hat der Bot?

Nullpointer · : 22.04.2005 : 4789 : West Berlin

er generiert wohl für jeden request eine neue id oder?

Ich kann gar nicht so viel kotzen, wie ich fressen möchte.

gaggi · : 21.03.2007 : 10

ja er generiert für jeden request neue id´s, die ip ist jedesmal 66.249.65.116 ich schau mir gerade nochmal alle links an aber ich bin mir ziemlich sicher das alle funktionieren

oldInternetUser · : 19.03.2005 : 1252

Poste mal die robots.txt, wahrscheinlich ist die fehlerhaft.

gaggi · : 21.03.2007 : 10

Also die links hab ich schnell mal durchgeklickt die funktionieren alle

die robots txt sieht so aus:

seo-theo · : 18.10.2006 : 530

Disallow: /calendar_scheduler,
Disallow: /calendar_scheduler.php

Grüße
Seo-Theo

Und wenn du lange in einen Gockel blickst, blickt der Gockel auch in dich hinein.

Bist Du Admin eines großen Forums? Wenn ja, dann klick mal hier...

gaggi · : 21.03.2007 : 10

hab die robots.txt geändert aber er macht immernoch weiter... er hat übrigens gerade eben die 1000er marke überschritten #Cussing out

Ehemalige Nutzer Z · Gast

dann wird er die wohl noch nicht gelesen haben...

gaggi · : 21.03.2007 : 10

dann heißt es wohl erstmal abwarten und tee trinken ich geh jetzt auch erstmal nervenschonen und leg mich ein bisschen in der garten das hier ist garnicht gut für meine nerven ^^

danke euch allen ich geb nochmal morgen bescheid falls es aufgehört hat ^^

gaggi · : 21.03.2007 : 10

als ich gerade nochmal in die logs geschaut hab (draussen isses ja arsch kalt geworde als die sonne weg war) hab ich endlich des rätsels lösung gefunden .....
google wollte garnicht die seite crawlen sondern eine andere seite die auf der selben ip liegt.... da läuft so ein phpbb+ und aus irgendeinem grund hat google wohl die richtigen urls auf der falschen domain gecrawlt...

Tobias Claren · : 05.05.2006 : 46

Hallo.

Ich habe exakt das gleiche Problem!
Die gleiche Datei.
Aber ich merkte das nicht. Wie auch. Mit so etwas muss ich ja nicht rechnen.
Im Februar über 5GB Volumenüberschreitung und jetzt im März nochmal über 25GB! Zusammen über 300 Euro Kosten!
Das ist eine DoS-Atakke meine ich! Auch wenn es kein Vorsatz ist, müssten Google für so etwas haftbar sein.
Normale Nutzung, OK. Da würde ich nichts sagen wenn jemand die Seite normal abruft oder ein Suchroboter mal vorbeischaut.
Aber dass hier ist ja wohl in keinster Weise gerechtfertigt.
Muss ich Strafanzeige wegen Computersabotage erstatten wenn die nicht zahlen wollen? Eine Bestätigung dass dies auch bei jemand anderem vorkam wäe da hilfreich. "Gaggi" kann es ja bezeugen.
Obwohl die Fakten bei mir schon reichen sollten, da so etwas wohl mit nichts zu rechtfertigen ist.
Ich habe die Rechnungen und die Abruflogs die nur den GoogleBot als Verursacher zeigen (99,x % Transfer nur durch Google auf diese eine Datei).

net(t)worker · Gast

To-Bi-As · : 08.10.2006 : 443

@net(t)worker
Da gebe ich Dir recht, das ist viel zu teuer, aber es geht auch ums Prinzip.

Der Google Bot verursacht schon sehr oft traffik der nicht sein müßte. Wenn man schon z.B. nan Header 404 oder sogar 410 sendet, warum kommt der den tagelang wieder und ruft die Seite ab? Wobei, mit Fehlerseiten erreiche ich bei weitem nicht den Traffik, aber Serverbelastung ist es dennoch.

Das Prob bei mir ist, dass irgenwelche Seiten, Systeme, Scripte, fehlerhafte Seiten/ Links erzeugen. Google folgt denen aber immer brav und bekommt von mit nen 404. Das reicht dem aber nicht, das geht die nächsten 7 Tage so weiter bis der das endlich mal kappiert.

Gruß.