Herzlich willkommen im SEO Forum der ABAKUS Internet Marketing GmbH
registrieren registriertes Mitglied
Was meinst du damit? Wie würde das konkret aussehen?Du musst den Auszug natürlich um alle (!) bei die benutzten Bot-Signaturen erweitern.
Wie kann ich das umsetzen? Gibt es irgendwo eine Anleitung dafür?Diese Handhabe kann mal also sehr gut für den konkreten Fall nutzen, um diese Anzeigen nur dann anzeigen zu lassen, wenn der besagte Cookie, bzw. eine Session existiert.
Aber ich kann meine Problem-Bots ja in den Log-Files klar identifizieren, d.h. die tarnen sich doch gar nicht. So sehen z.B. die Einträge in einer Log-Datei aus:Ein Problem dabei ist, dass viele der SEO Bots sich eben nicht als solche ausweisen.
Na diese Bots kannst Du doch rel. einfach aussperren. Jeden weiteren einfach da rein klemmen.Joe85 hat geschrieben: ↑29.08.2019, 19:36
- 85.93.88.91 - - [24/Aug/2019:01:52:50 +0200] "GET /produkt/ein-produktname-blabla/ HTTP/2.0" 301 26 "-" "Mozilla/5.0 (compatible; adscanner/)/1.0 (Mozilla/5.0 (compatible; seoscanners.net/1.0; +spider@seoscanners.net); http[:]//seoscanners[.]net; spider@seoscanners.net)" "Traffic IN:294 OUT:283" "ReqTime:1 sec"
- 46.229.168.145 - - [24/Aug/2019:02:47:31 +0200] "GET /produkt/ein-produktname-blabla/ HTTP/1.1" 301 26 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http[:]//www[.]semrush[.]com/bot.html)" "Traffic IN:789 OUT:3635" "ReqTime:0 sec"
Code: Alles auswählen
RewriteCond %{HTTP_USER_AGENT} "seoscanners|SemrushBot" [NC]
RewriteRule .* - [F,L]
Das problem sind aber die bots, die sich eben als normaler webbrowser ausgeben. Die sieht man beim ueberfliegen der logfiles nicht, aber erkennt man z.b. daran dass sie pro session 100x soviele seiten abrufen wie richtige nutzer, oder dass sie 5 seiten pro sekunde laden, oder dass sie z.b. keine bilder, css oder js dateien laden.
Code: Alles auswählen
RewriteCond %{HTTP_USER_AGENT} "seoscanners|SemrushBot" [NC]
RewriteRule .* - [F,L]
Spielt es eine Rolle, ob da "seoscanners" oder "seoscanners.net" steht?RewriteCond %{HTTP_USER_AGENT} "seoscanners|SemrushBot" [NC]
RewriteRule .* - [F,L]
Klar, aber ich glaube, die machen mir aktuell noch keine Probleme. Die, die meine Amazon-links anklicken, sind wirklich hauptsächlich SEMrush, seoscanners.net und Dotbot.Das problem sind aber die bots, die sich eben als normaler webbrowser ausgeben. Die sieht man beim ueberfliegen der logfiles nicht, aber erkennt man z.b. daran dass sie pro session 100x soviele seiten abrufen wie richtige nutzer, oder dass sie 5 seiten pro sekunde laden, oder dass sie z.b. keine bilder, css oder js dateien laden.
Das hatte ich ja schon versucht. Du hattest das Folgende empfohlen, das aber auch nicht geklappt hat:RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} seoscanners.net/1.0 [OR]
# hier weitere Einträge hinzufügen
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .* - [R=403]
-------------------------------von staticweb » 23.08.2019, 17:40
Ungeprüft!
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .* - [R=403]
Was genau meinst du denn mit "Software"? Ich betreibe eine kleine Werbeagentur und hab da einige Webentwickler am Start, die das vielleicht hinkriegen würden. Allerdings weiß ich gerade nicht so genau, wie ich den Auftrag beschreiben soll. Was genau müssten die für mich entwickeln?Das geht nur über Sessions, bzw. Session Cookies, was aber Programmierarbeit erfordert falls die jeweilige Software so was nicht schon an Board hat. Damit ist die Trefferquote aber nahezu 99.99%.