Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

Crawler/Bots am "Klicken" meiner Amazon-Links hindern

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Joe85
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 23.08.2019, 16:58

Hi Leute!

Ich hab mir vor einiger Zeit eine kleine Affiliate-Website aufgebaut, die so eine Mischung aus Affiliate-Shop und Magazin ist. Dort hab ich natürlich auch eine ganze Menge Affiliate-Links implementiert, momentan noch in erster Linie von/zu Amazon.

Das Problem, das ich damit habe, ist, dass sich auf meiner Seite auch Bots/Crawler von SEO-Tools wie Semrush rumtreiben, die genau diese Links massenweise anklicken. Und zwar genau jeden Sonntag und Montag. An sich ist das ja nicht schlimm, doch führt das dazu, dass meine Statistiken bei Amazon komplett unbrauchbar werden und meine Conversion-Zahlen in einen sehr niedrigen Bereich fallen.

Ich hab deshalb versucht, die Bots per robots.txt auszusperren - ohne Erfolg:

User-agent: *
Disallow: /produkt/

User-agent: seoscanners[.]net
Disallow: /

User-agent: Dotbot
Disallow: /

User-agent: SemrushBot
Disallow: /


Dann hab ich's per htaccess versucht und auch das hat nichts gebracht:

BrowserMatchNoCase "Dotbot" bots
BrowserMatchNoCase "SemrushBot" bots
BrowserMatchNoCase "Seoscanners[.]net" bots

Order Allow,Deny
Allow from ALL
Deny from env=bots

SetEnvIfNoCase User-Agent (Seoscanners[.]net|SemrushBot|Dotbot) bad_bot
Order Deny,Allow
Deny from env=bad_bot


Der letzte Versuch bestand darin, das Verzeichnis meiner Cloaked Links, die beim Laden der Site in Amazon-Links umgewandelt werden, mittels einer weiteren .htaccess im Verzeichnis für die Bots zu sperren - auch das ohne Erfolg ( https[:]//meinedomain[.]de/produkt/.htaccess ):

<Files "*">
Deny from all
</Files>


Bin ich wirklich der einzige, der dieses Problem hat? Hat einer von euch vielleicht eine Idee, was ich noch machen könnte? Optimal wäre es, wenn sich alle Bots und Crawler einfach nur von meinen Amazon-Links fernhalten ( z.B. https[:]//meinedomain[.]de/produkt/beispielprodukt/ ). Die zweitbeste Lösung wäre wohl, wenn zumindest alle Bots mit Ausnahme der Suchmaschinen-Crawler wie Google und Bing sich komplett von meiner Site fernhalten. Geht das?

Anzeige von: