Seite 2 von 2

Re: Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Verfasst: 31.08.2019, 15:40
von supervisior
Joe85 hat geschrieben: 31.08.2019, 14:48
Das geht nur über Sessions, bzw. Session Cookies, was aber Programmierarbeit erfordert falls die jeweilige Software so was nicht schon an Board hat. Damit ist die Trefferquote aber nahezu 99.99%.
Was genau meinst du denn mit "Software"? Ich betreibe eine kleine Werbeagentur und hab da einige Webentwickler am Start, die das vielleicht hinkriegen würden. Allerdings weiß ich gerade nicht so genau, wie ich den Auftrag beschreiben soll. Was genau müssten die für mich entwickeln?
Mit Software meinte ich das oder die installierten Programm/e auf Deinem Webserver.

Ich könnte Dir das natürlich erklären, wie man das mit den Session Cookies machen kann. Nachdem das im Detail dann doch etwas komplizierter ist, ist die Gefahr groß, dass Du das auf Grund mangelndem Verständnis falsch oder fehlerhaft weiter vermittelst. Deine Entwickler sollen sich das einfach mal durch den Kopf gehen lassen, wenn ein Nutzer Schrägstrich Bot keine Cookies speichert, bzw. zwar speichert, aber nur bis zum nächsten Aufruf, sodass der Cookie immer und immer wieder neu gesetzt werden muss. So ein Verhaltensmuster lässt sich identifizieren, allerdings muss man aufpassen, dass man nicht die guten Bots als falsch identifiziert und spätestens dann wirds kompliziert. Das kann man aber sehr gut lösen.

Was die Schreibweise des User Agens anbetrifft, solltest du immer Kleinschreibung bevorzugen, jedoch mit einem [NC] hinten dran. Im Fall seoscanner würde ich das ".net" weglassen. Nimm Bezeichnungen, die keine Sonderzeichen im Namen enthalten, also keine -. / , usw.

Verfasst:
von

Re: Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Verfasst: 05.09.2019, 10:19
von supervisior
@Joe85

Wenn Du schon mal dabei bist unliebsame Bots loszuwerden, dann kannst Du die nachfolgenden auch gleich in Deine Sammlung aufnehmen. Bei den IP Kreisen handelt es sich um Nutzer, welche die Google Cloud missbrauchen. Die fallen in den Statistiken dadurch auf, dass sie immer nur 1 Seite aufrufen, aber nur das Hauptdokument ohne statische Sourcen, wobei im 5-Minuten-Takt die IP Addresse gewechselt wird. Ärgerlich sind diese Aufrufe insofern, als dass diese eine Session aufmachen und so als ganz normale Zugriffe gezählt werden. Die Aufrufe kommen immer anfallsweise, aber dann so heftig, dass die Statistik bis zu 30% verfäslcht wird.

Code: Alles auswählen

34.76.0.0/14 # googleusercontent
104.199.32.0/19 # googleusercontent
130.211.0.0/16 # googleusercontent
35.208.0.0/12 # googleusercontent
35.240.0.0/13 # googleusercontent
35.224.0.0/12 # googleusercontent
35.192.0.0/12 # googleusercontent
35.184.0.0/13 # googleusercontent
104.154.0.0/15 # googleusercontent