Herzlich willkommen im SEO Forum der ABAKUS Internet Marketing GmbH
registrieren registriertes Mitglied
Hast dus schon mit einer Pause von 15 Minuten probiert?Steppke030 hat geschrieben: ↑24.12.2020, 18:03
Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.
Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?
Was ich darüber weiß, ist dass Du das Problem nicht durch längere Timeouts lösen kannst, aber vielleicht hilft Dir das weiter:Steppke030 hat geschrieben: ↑24.12.2020, 18:03 Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?
Die Idee mit dem Raspberry ist SUPER! Mein Desktop-PC verbraucht viel Strom und daher lasse ich ihn nachts nicht laufen. Ein Raspberry hingegen ist für den 24-Stunden-Betrieb perfekt geeignet. Darauf kann man einen Spider wunderbar laufen lassen.... dass jede Nacht auf dem Raspberry meine Positionen mehrerer Websites ermittelt ...