Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

htaccess crawler

Neues Thema eröffnen   Neue Antwort erstellen
 Googlebot fühlt sich durch robots.txt ausgesperrt - Warum? Seite vor Crawlern und Indexierung schützen  
BobbyC

pr


: 13.02.2012
: 52



: 05.02.2014, 20:56    : htaccess crawler
Von: BobbyC
BobbyC
00 05.02.2014, 20:56
Antworten mit Zitat Antworten mit Zitat

Hallo,

habe im Netz eine tolle Liste gefunden, scheint auch gut zu funktionieren, allerdings werden in SEOMOZ noch immer Links gecrawled, obwohl der rogerbot ausgeschlossen ist.

Code:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*SEOkicks-Robot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BlackWidow.*$ [NC,OR]
...
RewriteCond %{HTTP_USER_AGENT} ^.*rogerbot.*$ [NC,OR]
...
RewriteRule ^ - [L,R=404]


Habe die Liste gekürzt, da es sonst zu lang werden würde. Ist da Fehler in der .htaccess oder warum crawled er noch?
00
Nach oben
BobbyC Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

DieterW

pr


: 20.03.2013
: 214



: 06.02.2014, 12:11    : htaccess crawler
Von: DieterW
DieterW
00 06.02.2014, 12:11
Antworten mit Zitat Antworten mit Zitat

Probiers mal so:
Code:

RewriteRule ^(.*)$ - [F,L]


Probleme sind Lösungen in Arbeitskleidung.
------------------------------------------------------
AccessControl die ultimative Schutzsoftware gegen Spammer, Hacker und unerwünschte Besucher.
Support und Service im User Forum
IP-Check wenn Du wissen willst ob Deine IP RBL gelistet ist.
00
Nach oben
DieterW Private Nachricht senden WWW
Lollipop

pr


: 05.07.2009
: 573



: 28.02.2016, 13:21    : htaccess crawler
Von: Lollipop
Lollipop
00 28.02.2016, 13:21
Antworten mit Zitat Antworten mit Zitat

Ich hole mal den alten Thread hier aus der Versenkung...

Kennt einer von euch eine aktuelle Liste für die robots.txt und die .htaccess um die crawler zu blocken?

Was ich gefunden habe ist das hier: http://www.knothemedia.de/crawler-spider-robots-bots-sperren.html

Aber die ist auch schon wieder über ein Jahr alt. Kenn jemand eine aktuellere / ausführlichere Liste?

Danke für eure Mühe!
00
Nach oben
Lollipop Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

Nokes

pr


: 07.11.2010
: 425



: 29.02.2016, 15:11    : htaccess crawler
Von: Nokes
Nokes
10 29.02.2016, 15:11
Antworten mit Zitat Antworten mit Zitat

Ich habe bei mir eine Liste drinne, die wie folgt aussieht:

// EDIT
Anscheinend knallt das Abakus Forum weg

Hier gibt's die Liste http://pastebin.com/URFrZPuW

Diese sorgt mit dem Apache Modul mod_setenvif (https://httpd.apache.org/docs/2.4/mod/mod_setenvif.html) dafür, dass die genannten UserAgents oder Referrer nicht mehr mit geloggt werden. Mit wenigen Anpassungen könnte man die Liste so anpassen, dass die User-Agents geblockt werden.

Gruß, <br /><br />Nico <br /><br /> <br /><br />robots.txt viewer | Nischen Themen finden
10
Nach oben
Nokes Private Nachricht senden
Lollipop

pr


: 05.07.2009
: 573



: 01.03.2016, 00:29    : htaccess crawler
Von: Lollipop
Lollipop
00 01.03.2016, 00:29
Antworten mit Zitat Antworten mit Zitat

das ist aber mal ne laaaange Liste

thx dafür!
00
Nach oben
Lollipop Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Quelltext komprimieren (Umbrüche entfernen) mit htaccess Quelltext komprimieren (Umbrüche entf... derSteffen Ich hab' da mal 'ne Frage 4 10.10.2018, 08:07 Quelltext komprimieren (Umbrüche entfernen) mit htaccess
htaccess http auf https mit www optimieren? htaccess http auf https mit www optim... Lollipop Weiterleitungen und mod_rewrite 1 04.10.2018, 10:23 htaccess http auf https mit www optimieren?
htaccess: canonical URL im Header für alle files htaccess: canonical URL im Header für... Rem Weiterleitungen und mod_rewrite 10 15.09.2018, 16:04 htaccess: canonical URL im Header für alle files
.htaccess Umleitung auf neuen Pfad klappt nicht .htaccess Umleitung auf neuen Pfad kl... siya Ich hab' da mal 'ne Frage 5 21.08.2018, 11:30 .htaccess Umleitung auf neuen Pfad klappt nicht
Unbekannte Weiterleitung in der htaccess? Unbekannte Weiterleitung in der htacc... Major Tom Weiterleitungen und mod_rewrite 3 04.08.2018, 02:23 Unbekannte Weiterleitung in der htaccess?
.htaccess-Einträge - Avoid Refererspam & Co. .htaccess-Einträge - Avoid Refererspa... codemonk Spiders / Robots Themen 26 02.08.2018, 12:13 .htaccess-Einträge - Avoid Refererspam & Co.
STrato htaccess 200 vs 404 vs 203 STrato htaccess 200 vs 404 vs 203 /Affilitiv/ Weiterleitungen und mod_rewrite 2 08.06.2018, 19:39 STrato htaccess 200 vs 404 vs 203


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

htaccess crawler htaccess crawler - Österreich htaccess crawler - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: htaccess crawler