Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

amoklaufender YandexBot/3.0

Neues Thema eröffnen   Neue Antwort erstellen
 XT Modified Online Shop und ...:::.html in der URL Struktur Blockierte URLs - Warum?  
robo

pr


: 23.12.2003
: 837
: Schwangau


: 04.01.2013, 21:10    : amoklaufender YandexBot/3.0
Von: robo
robo
00 04.01.2013, 21:10
Antworten mit Zitat Antworten mit Zitat

Hi,

ich habe seit einiger Zeit auf einer Domain das Problem, dass der YandexBot total blödsinnige URLs aufruft, und das im 10-Sekunden-Takt. Und er hört damit einfach nicht auf.

Hier einer der Requests, wie er heute stattgefunden hat, /index.php steht immer am Anfang, was dahinter kommt, wechselt wild durcheinander:

Code:
GET /index.php/Reisen/Mietwagen/Hotels/Laender/ HTTP/1.1


Die Verzeichnisse Reisen, Mietwagen, Hotels und Laender gibt es auf der Domain, aber jedes für sich vom Wurzelverzeichnis aus und nicht so als Pfad, wie es im Request steht. Vereinzelt sind auch Verzeichnisse dabei, die es auf der Domain überhaupt nicht gibt.

Ich habe gestern schon eine Mail an support (at) search (punkt) yandex (punkt) com geschrieben, aber bisher hat sich nichts getan und ich habe auch keine Antwort erhalten.

Seit gestern liefere ich für deratige Requests auch einen 403 aus, was den YandexBot aber bisher nicht beeindruckt.

Code:
RewriteRule ^index\.php\/.+ - [F]


Hat jemand ein ähnliches Verhalten beobachtet oder hat jemand einen Tip für mich, wie ich dem Bot das abgewöhne? Achja, alle diese Requests kommen von 141.8.147.14. Und ganz vereinzelt werden sogar korrekte URLs abgerufen.

cu Robo
00
Nach oben
robo Private Nachricht senden WWW
MeNoZony

pr


: 26.08.2004
: 476
: Ruhrgebiet


: 05.01.2013, 01:51    : amoklaufender YandexBot/3.0
Von: MeNoZony
MeNoZony
00 05.01.2013, 01:51
Antworten mit Zitat Antworten mit Zitat

Blockieren.
Bei mir läuft seit Tagen die 199.21.99.114 komplett aus dem Ruder.
Rein in die .htaccess und gut is'.
Generell ist zum Russen zu sagen, daß er es langsam ein wenig übertreibt-nur spidern reicht auch nicht und die Referrer-Spams sind eher lächerlich...
00
Nach oben
MeNoZony Private Nachricht senden
Zweipunkt

pr


: 03.07.2009
: 2
: Bodenmais


: 14.01.2013, 07:56    : amoklaufender YandexBot/3.0
Von: Zweipunkt
Zweipunkt
00 14.01.2013, 07:56
Antworten mit Zitat Antworten mit Zitat

Ich habe das gleiche Problem. Der Yandex - Bot kommt täglich vorbei und verursacht übelst viel Aufrufe im Shop. Wäre kein so großes Problem, allerdings berechnet der Shop-Provider seine Kosten über die Seitenzugriffe. Deshalb habe ich ihn in die .htaccess eingetragen, um den Bot zu blockieren. Allerdings kommt er trotzdem mehrmals täglich wieder und scannt den Shop.

In meine .htaccess hab ich jetzt folgendes eingetragen:

...
RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]
...
RewriteRule ^.* - [F]

Reicht das aus, um diesen Bot auszusperren? Hat jemand Erfahrungswerte, wann der Yandex-Bot aufgibt, sobald man den Zugriff verweigert hat? Er hat jetzt allein im Januar bereits über 300.000mal auf den Shop zugegriffen...
00
Nach oben
Zweipunkt Private Nachricht senden
ABAKUS


: Werbung 

Suchmaschinenoptimierung für PrestaShop

Erfolgreiche und optimale Nutzung mit PrestaShop Systemen!
Nutzen Sie unsere jahrelange Erfahrung mit Suchmaschinenoptimierung und lassen Sie sich beraten!


Informieren Sie sich über die wichtigsten PrestaShop-Optimierungsmaßnahmen oder kontaktieren Sie uns direkt unter: 0511 / 300325-0.

MonikaTS

pr


: 07.10.2005
: 3582



: 14.01.2013, 10:45    : amoklaufender YandexBot/3.0
Von: MonikaTS
MonikaTS
00 14.01.2013, 10:45
Antworten mit Zitat Antworten mit Zitat

ich nehm da die robots.txt zu hilfe

User-agent: Eurobot
Crawl-delay: 5

User-agent: dotbot
Crawl-delay: 5

User-agent: ShopWiki
Crawl-delay: 5

User-agent: Slurp
Crawl-delay: 5

User-agent: sitebot
Crawl-delay: 5

User-agent: bingbot
Crawl-delay: 5

User-agent: msnbot
Crawl-delay: 5

User-agent: MJ12bot
Crawl-delay: 5

User-agent: Yandex
Crawl-delay: 5

damit schränkst du die saugenden Bots ein,

oder du nutzt

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BOTNAME1 [OR]
RewriteCond %{HTTP_USER_AGENT} ^BOTNAME2
RewriteRule ^.* - [F,L]
</IfModule>
00
Nach oben
MonikaTS Private Nachricht senden
robo

pr


: 23.12.2003
: 837
: Schwangau


: 24.01.2013, 17:50    : amoklaufender YandexBot/3.0
Von: robo
robo
00 24.01.2013, 17:50
Antworten mit Zitat Antworten mit Zitat

Problem gelöst. Der Statuscode 403 hat den YandexBot nicht interessiert, allerdings bekam ich doch noch eine Antwort vom Yandex-Support mit der Lösung, die da heißt: robots.txt

Code:
User-agent: Yandex
Disallow: /index

Und seitdem ist schlagartig Ruhe und der YandexBot beschränkt sich auf gültige URLs.

cu Robo
00
Nach oben
robo Private Nachricht senden WWW
jaqqDE

pr


: 05.06.2014
: 3



: 26.06.2014, 23:32    : amoklaufender YandexBot/3.0
Von: jaqqDE
jaqqDE
00 26.06.2014, 23:32
Antworten mit Zitat Antworten mit Zitat

wie schon von robo mitgeteilt wurde, würde ich such folgendes empfehlen

Code:User-agent: Yandex 
Disallow: /index

LG
http://jaqq.de
00
Nach oben
jaqqDE Private Nachricht senden WWW
Inter47

pr


: 10.04.2014
: 464



: 26.06.2014, 23:43    : amoklaufender YandexBot/3.0
Von: Inter47
Inter47
00 26.06.2014, 23:43
Antworten mit Zitat Antworten mit Zitat

@jaqqDE

Also wenn man schon unbedingt einen Link unterbringen will, wäre es vielleicht geschickter, dafür neue Threads zu nutzen, als alte hervorzuholen und irgendwelche nutzlosen Kommentare zu hinterlassen ...
00
Nach oben
Inter47 Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 







SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | SEO Blog | SEO Online Tools | SEO Angebote | Modulare SEO Seminare

Impressum | Datenschutz

amoklaufender YandexBot/3.0 amoklaufender YandexBot/3.0 - Österreich amoklaufender YandexBot/3.0 - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: amoklaufender YandexBot/3.0