|
|
BobbyC
: 13.02.2012
: 52
|
| : 05.02.2014, 20:56 : htaccess crawler |
Von: BobbyC
|
 0 0
05.02.2014, 20:56
|
|
|
Hallo,
habe im Netz eine tolle Liste gefunden, scheint auch gut zu funktionieren, allerdings werden in SEOMOZ noch immer Links gecrawled, obwohl der rogerbot ausgeschlossen ist.
| Code: |
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*SEOkicks-Robot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BlackWidow.*$ [NC,OR]
...
RewriteCond %{HTTP_USER_AGENT} ^.*rogerbot.*$ [NC,OR]
...
RewriteRule ^ - [L,R=404] |
Habe die Liste gekürzt, da es sonst zu lang werden würde. Ist da Fehler in der .htaccess oder warum crawled er noch?00 |
|
| Nach oben |
|
 |
ABAKUS
| | : Werbung | |
| 
Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de
|
|
 |
DieterW
: 20.03.2013
: 214
|
| : 06.02.2014, 12:11 : htaccess crawler |
Von: DieterW
|
00
06.02.2014, 12:11
|
|
|
Probiers mal so:
| Code: |
RewriteRule ^(.*)$ - [F,L]
|
Probleme sind Lösungen in Arbeitskleidung.
------------------------------------------------------
AccessControl die ultimative Schutzsoftware gegen Spammer, Hacker und unerwünschte Besucher.
Support und Service im User Forum
IP-Check wenn Du wissen willst ob Deine IP RBL gelistet ist.00 |
|
| Nach oben |
|
|
Lollipop
: 05.07.2009
: 546
|
| : 28.02.2016, 13:21 : htaccess crawler |
Von: Lollipop
|
00
28.02.2016, 13:21
|
|
|
Ich hole mal den alten Thread hier aus der Versenkung...
Kennt einer von euch eine aktuelle Liste für die robots.txt und die .htaccess um die crawler zu blocken?
Was ich gefunden habe ist das hier: http://www.knothemedia.de/crawler-spider-robots-bots-sperren.html 
Aber die ist auch schon wieder über ein Jahr alt. Kenn jemand eine aktuellere / ausführlichere Liste?
Danke für eure Mühe!00 |
|
| Nach oben |
|
|
ABAKUS
| | : Werbung | |
|
Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de
|
|
|
Nokes
: 07.11.2010
: 425
|
| : 29.02.2016, 15:11 : htaccess crawler |
Von: Nokes
|
10
29.02.2016, 15:11
|
|
|
Ich habe bei mir eine Liste drinne, die wie folgt aussieht:
// EDIT
Anscheinend knallt das Abakus Forum weg 
Hier gibt's die Liste http://pastebin.com/URFrZPuW
Diese sorgt mit dem Apache Modul mod_setenvif (https://httpd.apache.org/docs/2.4/mod/mod_setenvif.html) dafür, dass die genannten UserAgents oder Referrer nicht mehr mit geloggt werden. Mit wenigen Anpassungen könnte man die Liste so anpassen, dass die User-Agents geblockt werden.
Gruß,
<br /><br />Nico
<br /><br />
<br /><br />robots.txt viewer | Nischen Themen finden10 |
|
| Nach oben |
|
|
Lollipop
: 05.07.2009
: 546
|
| : 01.03.2016, 00:29 : htaccess crawler |
Von: Lollipop
|
00
01.03.2016, 00:29
|
|
|
das ist aber mal ne laaaange Liste 
thx dafür!00 |
|
| Nach oben |
|
|
