Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Email harvester und unerwünschte Bots mit .htaccess sperren

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite Zurück  1, 2, 3, 4, 5, 6, 7, 8  Weiter
 Zugrife von xyz-domains verhindern Nur 20% meiner Seiten indexiert - was mache ich falsch?  
Caterham

pr


: 20.09.2004
: 331



: 07.04.2005, 19:49    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Caterham
Caterham
00 07.04.2005, 19:49
Antworten mit Zitat Antworten mit Zitat

:
die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?
genau.
:
Wo liegt den die .htaccess bzw wo muss ich die anlegen.?
ebenfalls dort, sofern die dortigen Regeln für die komplette Webseite gelten sollen. Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?

Grüße
Robert
00
Nach oben
Caterham Private Nachricht senden
mg8

pr


: 02.04.2005
: 29



: 07.04.2005, 20:36    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: mg8
mg8
00 07.04.2005, 20:36
Antworten mit Zitat Antworten mit Zitat

:
Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?

Ich hab nur ne ganz normale html seite ohne forum etc.... also nicht.
Wo findet den mo_rewrite verwendung.?

mfg
mg8
00
Nach oben
mg8 Private Nachricht senden
bull

pr


: 20.09.2003
: 2173
: Vèneto


: 07.04.2005, 20:45    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bull
bull
00 07.04.2005, 20:45
Antworten mit Zitat Antworten mit Zitat

http://www.google.de/search?hl=de&c2coff=1&q=mod_rewrite&meta=lr%3Dlang_de 00
Nach oben
bull Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

robbelsche

pr


: 09.09.2004
: 1053
: Berlin


: 07.04.2005, 22:47    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: robbelsche
robbelsche
00 07.04.2005, 22:47
Antworten mit Zitat Antworten mit Zitat

mg8 hat Folgendes geschrieben:
die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?
Wo liegt den die .htaccess bzw wo muss ich die anlegen.?
mfg
mg8


Wenn die Regeln für die Serverkonfiguration für die gesammte Domain gelten sollen, wie das bei dem Aussperren irgendwelcher unerwünschter User-Agents ja der Fall ist, auch im Wurzelverzeichnis.

Gruß robbelsche
++++++++++++++++++++++++++++++++++++++++++++++++++++
Niemand braucht PR. Vergleichbare Seiten mit weniger PR werden sowieso besser gelistet!
00
Nach oben
robbelsche Private Nachricht senden
mg8

pr


: 02.04.2005
: 29



: 08.04.2005, 18:08    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: mg8
mg8
00 08.04.2005, 18:08
Antworten mit Zitat Antworten mit Zitat

kann ich davon aussgehen das alle bots/cralwer die keine robots.txt anfordner Spambots/"Böse" sind, oder kann man das so pauschal nicht sagen.?00
Nach oben
mg8 Private Nachricht senden
Chris2005

pr


: 14.04.2005
: 1284



: 20.04.2005, 21:48    : Zugriff *ohne* User-Agent sperren?
Von: Chris2005
Chris2005
00 20.04.2005, 21:48
Antworten mit Zitat Antworten mit Zitat

Hallo,

habe bisher nichts in der Richtung finden können und auch das mod-rewrite forum bringt nichts zum Vorschein

Ich hatte kürzlich einen Zugriff auf meine Page ohne User-Agent. Muss ja prinzipiell nichts schlimmes sein, finde ich aber trotzdem etwas merkwürdig.

Wie kann ich sowas per .htaccess und mod_rewrite ausperren?

Würde das so funktionieren?

Code:

RewriteCond %{HTTP_USER_AGENT} " "
RewriteRule ^.*$ - [F]


Danke im Voraus für die Antwort.

Chris
00
Nach oben
Chris2005 Private Nachricht senden
bull

pr


: 20.09.2003
: 2173
: Vèneto


: 20.04.2005, 22:18    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bull
bull
00 20.04.2005, 22:18
Antworten mit Zitat Antworten mit Zitat

Nein, würde nicht.

Code:

RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^.*$ - [F]


Siehe aber auch:
http://www.abakus-internet-marketing.de/foren/viewtopic/t-985/postdays-0/postorder-asc/start-60.html#95159
00
Nach oben
bull Private Nachricht senden
Chris2005

pr


: 14.04.2005
: 1284



: 20.04.2005, 22:24    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Chris2005
Chris2005
00 20.04.2005, 22:24
Antworten mit Zitat Antworten mit Zitat

Danke. Ich hatte den Thread vor ein paar Tagen durchgearbeitet, aber da war das "Problem" noch nicht vorhanden sri für die Bandbreite.

Edit: Nochmal ich . Wenn ich dem "User" mit dem leeren Useragent nun keine Fehlermeldung wie z.B. forbidden entgegenwerfen will, sondern eine z.B. die Datei /user.html. Was muss ich da eintragen?

Problem gelöst:

Code:

RewriteCond %{HTTP_USER_AGENT} ^$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule (^.*) http://www.domain.tld/useragent.html [R,L]


Bei meinen Tests mit dem Wannabrowser funktionierte das so, wie ich wollte. Habe ich da jetzt noch nen Denkfehler drin, oder passt das "universal"? Ich überlege noch, ob ich aus dem 302er einen 301er mache. Aber nicht, dass eine Suchmaschine sich sowas einfängt und nur die Fehlermeldung indexiert
00
Nach oben
Chris2005 Private Nachricht senden
bull

pr


: 20.09.2003
: 2173
: Vèneto


: 21.04.2005, 07:06    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bull
bull
00 21.04.2005, 07:06
Antworten mit Zitat Antworten mit Zitat

Machs einfach ohne Umleitung, so daß ein 200 OK zurückgegeben wird:

Code:
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^.* useragent.html [L]
00
Nach oben
bull Private Nachricht senden
Chris2005

pr


: 14.04.2005
: 1284



: 21.04.2005, 12:01    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Chris2005
Chris2005
00 21.04.2005, 12:01
Antworten mit Zitat Antworten mit Zitat

Vielen Dank. Ich hatte etwas ähnliches auch ausprobiert, allerdings hatte ich vor der useragent.html noch einen / und damit hat es nicht funktioniert.

Jetzt klappt es und es besser versteckt, dass eine Umleitung stattfindet!
00
Nach oben
Chris2005 Private Nachricht senden
Iq100

pr


: 03.03.2011
: 6



: 04.03.2011, 11:14    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Iq100
Iq100
00 04.03.2011, 11:14
Antworten mit Zitat Antworten mit Zitat

Ganz großer Dank und ganz großes Lob an bull!!!

Habe dank deines Spidertutors und der hier befindlichen hilfen einiges dazugelernt Ich selbst habe bisher mit SetEnvIf u.d.G. (Serverkonfig) gearbeitet und musste nun aber erschreckend feststellen das die ganze Sache nicht greift?! Deswegen jetzt .htaccess

Hätte aber auch noch eine Frage:
Obwohl mein SSL gesondert behandelt wird und auch seperat geloggt wird (SSL-Logfiles) erscheinen in den HTTP-Logfiles (Apachelog) dennoch immer Hex-Requests die mir wie SSL aussehen. Weißt du bzw. weiß irgendwer wie ich das aussperre?

Beispiel:
:

[Thu Mar 03 06:16:23 2011] [error] [client xxx.xxx.xxx.xxx] Invalid URI in request \xdc\x8d\xe1\xd5\xb3\x04\xb3\xe1)\xabN8\xcaeY


Danke und Grüße
Iq100
00
Nach oben
Iq100 Private Nachricht senden
Danny3254

pr


: 29.03.2017
: 6



: 17.05.2017, 10:12    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Danny3254
Danny3254
00 17.05.2017, 10:12
Antworten mit Zitat Antworten mit Zitat

Gibt es denn eine neue Liste mittlerweile oder wird diese noch aktualisiert ?
Ist doch schon über 10 Jahre alt =).
00
Nach oben
Danny3254 Private Nachricht senden
ElCattivo

pr


: 12.02.2018
: 112



: 12.02.2018, 04:11    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: ElCattivo
ElCattivo
00 12.02.2018, 04:11
Antworten mit Zitat Antworten mit Zitat

Hallo!

Um das mal wieder anzustoßen...

Seine .htaccess muss man laufend anpassen nachdem man natürlich immer wieder seine access.log Dateien analysiert.

Viele Sachen werden hier auch falsch gemacht (Redundanz, aufwendige Instruktionen), da kann man mit der .htaccess schonmal ne Menge Serverlast erzeugen oder ein 500/503 erzeugen. Mit Regulären Ausdrücken sollte man auch sehr aufpassen. Es ist z.B. völlig unnötig für das einfache Blocken die Rewrite Engine zu bemühen, zumal nicht jedes Hosting das Modul mod_rewrite in der .htaccess unterstützt.

Hier mal ein kleiner Ausschnitt meiner .htaccess:

Code:
SetEnvIf Request_Method "(DEBUG|DELETE|OPTIONS|PUT|TRACE|TRACK|(UN)?LINK)" bad
SetEnvIfNoCase Request_URI "(\/\.\.|ckeditor|drupal|joomla|trackback|upload|wp-(admin|content|includes|json|login)|wordpress)" bad
SetEnvIfNoCase User-Agent "^(-?|Asperatusbot|Google\ ?Bot|Mozilla(\/.\..)?|QCrawl|Ruby|robot)$" bad
SetEnvIfNoCase User-Agent "^('|=|\/|BUFF|HELLO|Jersey|Mozilla.*Mozilla|Pcore|pshtt|User.?Agent)" bad
SetEnvIfNoCase User-Agent "(\\x|\"\)|\ \ Safari|\(compatible;?(\ )?\)|\(Mobile;\ rv:|rv:.\..(a|b)[0-9]\)\ Gecko|0\ Gecko|Firefox\/(3\.8|40\.1)|Mozilla\/5.*MSIE\ [2-8]|MSIE\ (9|1[01]).*\.NET|Windows(\ (10|NT\)|XP\))|\))|X\ 10_10_0)" bad
SetEnvIfNoCase User-Agent "(aylienbot|BegunAdvertising|betaBot|Bitvore|BoogleBot|cmscrawler|CommonCrawler|curl|devworx|Diffbot|Digincore|domain|evc-batch|exif-search|Feosey|FOCA|GarlikCrawler|Genieo|Getintent|Http.?Client|HTTrack|HubSpot|HybridBot|Indy|ips(-agent|\ Community)|Java\/1|Kemvibot|KomodiaBot|lib(http|www)|MailDBBot|mfibot|MixrankBot|Nutch|\ oBot|OSSProxy|PHP\/|Pulsepoint|Python|Scrapy|semantic|SiteTruth|Stratagems|Surdotly|Synapse|TWMBot|uCrawler|Web(Copy|collage|Fuck)|Wget|WinHttp|wonderbot|YisouSpider|zgrab\/)" bad
SetEnvIf Request_URI "^/robots\.txt$" ok
SetEnvIf Request_URI "/403\.php$" ok

Order deny,allow

deny from env=bad
allow from env=ok


Als kleine Hilfestellung zu Regulären Ausdrücken: "^" = beginnt (mit), "." = irgendein Zeichen, ".*" = beliebig viele irgendwelche Zeichen, "|" = oder, "?" = das davor stehende Zeichen kann (!) vorkommen, "()?" = die in der Klammer stehende Zeichengruppe (inkl weiterere Verschachtelungen und "oder") kann (!) vorkommen. Alle solche Operatoren sowie Leerzeichen und einige weitere müssen mit einem "\" (Backslash) einzeln maskiert werden, wenn das Zeichen und nicht der Operator gemeint ist.

Dazu sollte aber noch IP-Blocking (ich sag nur Amazon, Hetzner, OVH) stattfinden, da viele Bots UA Spoofing betreiben, wovon die blödesten Versuche oben schon mit abgedeckt sind. Da ich kein WP/Joomla/Drupal nutze, werden alle entsprechenden Zugriffe auch generell geblockt - wichtig für Leute mit diesen "CMS" (nicht selbst aussperren).

Wichtig ist außerdem, dass alle Bots Zugriff auf die robots.txt haben, um die darin stehenden Anweisungen befolgen zu können - falls es sich um "good bots" handelt.

Die Profis für solche Sachen sitzen übrigens im UA-Forum von webmasterworld.com.

Viele Grüße
ElCattivo


Zuletzt bearbeitet von ElCattivo am 12.02.2018, 04:25, insgesamt einmal bearbeitet
00
Nach oben
ElCattivo Private Nachricht senden
Hanzo2012

pr


: 26.09.2011
: 1502



: 12.02.2018, 04:24    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Hanzo2012
Hanzo2012
00 12.02.2018, 04:24
Antworten mit Zitat Antworten mit Zitat

Ein besonders wichtiger Ratschlag bezüglich .htaccess: Benutze sie nicht
Wie du wahrscheinlich weißt, werden .htaccess-Dateien bei jeder Abfrage neu interpretiert und in jedem Unterverzeichnis gesucht. Wenn möglich, sollte man solche Regeln global im VHost definieren und .htaccess komplett verbieten (nur dann gewinnt man):
https://haydenjames.io/disable-htaccess-apache-performance/
00
Nach oben
Hanzo2012 Private Nachricht senden
ElCattivo

pr


: 12.02.2018
: 112



: 12.02.2018, 04:28    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: ElCattivo
ElCattivo
00 12.02.2018, 04:28
Antworten mit Zitat Antworten mit Zitat

Wenn man alles richtig macht, kostet das keine große Performance - da ist WP und Konsorten viel ressourcenfressender. Meine .htaccess hat über 1200 Zeilen und meine Seite ist trotzdem verdammt schnell, da nur HTML/CSS. Außerdem hat nicht jeder Zugriff auf höhere Serverkonfiguration (wie z.B. ich auf nem shared Hosting).

Viele Grüße
ElCattivo
00
Nach oben
ElCattivo Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Gehe zu Seite Zurück  1, 2, 3, 4, 5, 6, 7, 8  Weiter
Seite 7 von 8
Gehe zu Seite Zurück  1, 2, 3, 4, 5, 6, 7, 8  Weiter
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
htaccess 301 - alte auf neue Domain + Unterseiten htaccess 301 - alte auf neue Domain +... bl727 Weiterleitungen und mod_rewrite 1 20.11.2018, 14:47 htaccess 301 - alte auf neue Domain + Unterseiten
Quelltext komprimieren (Umbrüche entfernen) mit htaccess Quelltext komprimieren (Umbrüche entf... derSteffen Ich hab' da mal 'ne Frage 4 10.10.2018, 07:07 Quelltext komprimieren (Umbrüche entfernen) mit htaccess
htaccess http auf https mit www optimieren? htaccess http auf https mit www optim... Lollipop Weiterleitungen und mod_rewrite 3 04.10.2018, 09:23 htaccess http auf https mit www optimieren?
htaccess: canonical URL im Header für alle files htaccess: canonical URL im Header für... Rem Weiterleitungen und mod_rewrite 10 15.09.2018, 15:04 htaccess: canonical URL im Header für alle files
.htaccess Umleitung auf neuen Pfad klappt nicht .htaccess Umleitung auf neuen Pfad kl... siya Ich hab' da mal 'ne Frage 5 21.08.2018, 10:30 .htaccess Umleitung auf neuen Pfad klappt nicht
Unbekannte Weiterleitung in der htaccess? Unbekannte Weiterleitung in der htacc... Major Tom Weiterleitungen und mod_rewrite 3 04.08.2018, 01:23 Unbekannte Weiterleitung in der htaccess?
.htaccess-Einträge - Avoid Refererspam & Co. .htaccess-Einträge - Avoid Refererspa... codemonk Spiders / Robots Themen 26 02.08.2018, 11:13 .htaccess-Einträge - Avoid Refererspam & Co.


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | SEO Blog | SEO Online Tools | SEO Angebote | Modulare SEO Seminare

Impressum | Datenschutz

Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7 Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7 - Österreich Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7 - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7