Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Email harvester und unerwünschte Bots mit .htaccess sperren

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite 1, 2, 3, 4, 5, 6, 7, 8  Weiter
 Zugrife von xyz-domains verhindern Nur 20% meiner Seiten indexiert - was mache ich falsch?  
viggen

pr


: 12.05.2003
: 6263



: 08.08.2003, 11:02    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: viggen
viggen
00 08.08.2003, 11:02
Antworten mit Zitat Antworten mit Zitat

Macht das noch jemand?
Über Robots.txt bots zu bannen ist ja toll, wenn sich die bots an die robot.txt befehle halten, wenn nicht nützt robot.txt leider nichts.

Habe daher vor ein paar Wochen meine .htaccess file umgeändert und die von mir gebannten Eindringlinge sind nie wieder gesehen.

:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F]


Die sind diejenigen die mir bisher aufgefallen sind und daher gebannt wurden, ich füge bei bedarf einfach eine zeile mit dem namen des neuen Eindringlins ein.

Funktioniert nur mit Apache server.
00
Nach oben
viggen Private Nachricht senden E-Mail senden
viggen

pr


: 12.05.2003
: 6263



: 09.08.2003, 07:39    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: viggen
viggen
00 09.08.2003, 07:39
Antworten mit Zitat Antworten mit Zitat

In meinen Logs sah ich heute früh das ein gewisser
"MSIE 5.0; Windows NT; DigExt; DTS Agent" direkt auf meine Kontaktseite ging.

Bei DTS Agent handelt es sich um einen Email Sammler auch unter Beijing Express E-mail Address Extractor bekannt. Eine kurze Zeile in meiner .htaccess file

RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR]

check mit Wannabrowser , und weg mit dem Spammer.
00
Nach oben
viggen Private Nachricht senden E-Mail senden
Southmedia

pr


: 20.07.2003
: 7338



: 09.08.2003, 12:50    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Southmedia
Southmedia
00 09.08.2003, 12:50
Antworten mit Zitat Antworten mit Zitat

Für sowas sollte man mal eine richtig große Datenbank anlegen wo jeder hinzufügen kann mit Begründung und so damit da ALLE Zugriff drauf haben, denn ich denke dass es ja auch im Interesse von allen liegt.00
Nach oben
Southmedia Private Nachricht senden
Webby

pr


: 17.10.2001
: 5426



: 09.08.2003, 13:52    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Webby
Webby
00 09.08.2003, 13:52
Antworten mit Zitat Antworten mit Zitat

Ich hab auch eine menge schon in meine robots.txt.

http://www.abakus-internet-marketing.de/robots.txt
Obwohl .htaccess ist sicherer. Mindestens kann mann die user agents sehen.

ABAKUS Internet Marketing
Professionelle Suchmaschinenoptimierung und Suchmaschinenmarketing
00
Nach oben
Webby Private Nachricht senden E-Mail senden WWW
viggen

pr


: 12.05.2003
: 6263



: 10.08.2003, 10:38    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: viggen
viggen
00 10.08.2003, 10:38
Antworten mit Zitat Antworten mit Zitat

Also ich werde wenn ich weitere unfreundliche Eindringlinge finde die hier melden, wenn wir genug beinander haben kann vielleicht Webby dann eine Seite den Widerlingen widmen.00
Nach oben
viggen Private Nachricht senden E-Mail senden
bugscout

pr


: 23.06.2003
: 2608



: 10.08.2003, 11:39    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bugscout
bugscout
00 10.08.2003, 11:39
Antworten mit Zitat Antworten mit Zitat

moin viggen,

wäre toll, wenn die ein wenig gruppiert wären,

ich z.b. habe was gegen email-harvester, wogegen
mir der einsatz von black widow zum offline anschauen
relativ egal ist.

grüsse

Diese Regierung macht nichts falsch. Für einige Leute ist die Politik von Vorteil - nur wir sind nicht dabei. Georg Schramm
00
Nach oben
bugscout Private Nachricht senden
viggen

pr


: 12.05.2003
: 6263



: 10.08.2003, 12:00    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: viggen
viggen
00 10.08.2003, 12:00
Antworten mit Zitat Antworten mit Zitat

werde ich machen, welche gruppierung sollten es sein?

Würde diese Unterteilung reichen?

Email-harvester (gibts ein deutsches word dafür[das auch verwendet wird]?)

Offline Browser

Suchmaschinen

Andere

Vorschläge?
00
Nach oben
viggen Private Nachricht senden E-Mail senden
bugscout

pr


: 23.06.2003
: 2608



: 10.08.2003, 12:12    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bugscout
bugscout
00 10.08.2003, 12:12
Antworten mit Zitat Antworten mit Zitat

moin moin,

das ist doch schon ganz gut, bei bedarf und neuen ideen der "kollegen" kann man das noch erweitern.

ich hab letzt irgendwo mal nen tip zum sammeln der bots, die sich nicht an disallow halten gelesen

1) unsichtbares gif mit link auf ein verzeichnis (z.b. boesewichte)
2) eine leere oder unsinnige datei darein
3) robots.txt disallow boesewichte

alle die da spidern halten sich nicht an die regeln.

werds mal ausprobieren

<edit>

seite steht "verein für angewandte thermodynamik"

mit einem script, dass immer erstmal 100 adressen von vereinsmitgliedern produziert.

</edit>

grüsse

Diese Regierung macht nichts falsch. Für einige Leute ist die Politik von Vorteil - nur wir sind nicht dabei. Georg Schramm
00
Nach oben
bugscout Private Nachricht senden
web4free

pr


: 30.01.2004
: 41
: Wien


: 30.01.2004, 15:54    : Würde es gerne machen!!!
Von: web4free
web4free
00 30.01.2004, 15:54
Antworten mit Zitat Antworten mit Zitat

Hi all,

würde mich gerne mal hinsetzen und ein solches Script schreiben.
Natürlich nur wenn noch Interesse daran besteht.

Vorstellen könnte ich es mir dann so:
Einer von Euch kennt so einen Eindringling.
z.B.: BlackWidow

Der Eintrag in der .htaccess würde ja dann so aussehen:
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow

Den Namen BlackWidow könnte man dann über ein Eingabefeld in die Datenbank speisen.
Und dann gibt es noch die Möglichkeit alle gesammelten .htaccess konform anzeigen zu lassen.

In der Startphase würden aber alle auf einmal angezeigt werden.
Also kein Katalog wo ich auswählen kann.
Ich kann aber schon in der Startphase mehrere Felder mit einbinden,
damit die Abfrage später umso feiner wird.

Wenn Ihr immer noch Interesse daran habt gebt mir hier bitte (gerne auch mit Vorschlägen) Bescheid.

Eine Anfangsliste wäre ja hier schon gepostet.

Würde mich freuen auf zahlreiche Vorschläge!

PS: Ich nehme an, dass ich ca. 2 Tage brauchen würde um das Script ordentlich anbieten zu können.

lG. aus Wien
Werner
00
Nach oben
web4free Private Nachricht senden WWW
Waldeule

pr


: 27.11.2003
: 76



: 30.01.2004, 17:53    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Waldeule
Waldeule
00 30.01.2004, 17:53
Antworten mit Zitat Antworten mit Zitat

viggen hat Folgendes geschrieben:
Würde diese Unterteilung reichen?


Downloadmanager wie

:

RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]


sollten auch eine eigene Kategorie bekommen. Bei mir dürfen die nämlich saugen.
00
Nach oben
Waldeule Private Nachricht senden
Webby

pr


: 17.10.2001
: 5426



: 30.01.2004, 18:35    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Webby
Webby
00 30.01.2004, 18:35
Antworten mit Zitat Antworten mit Zitat

Willkommen am Board Web4Free
Sowas zum basteln hat sicheriulich ein nutzt. Ich wird auch persönlich interessiert in so eine script.
Alan

ABAKUS Internet Marketing
Professionelle Suchmaschinenoptimierung und Suchmaschinenmarketing
00
Nach oben
Webby Private Nachricht senden E-Mail senden WWW
web4free

pr


: 30.01.2004
: 41
: Wien


: 30.01.2004, 23:35    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: web4free
web4free
00 30.01.2004, 23:35
Antworten mit Zitat Antworten mit Zitat

Hi,

Na ich werd mich da mal ransetzen und es auf meiner Seite online stellen.
Sobald ich damit online bin werd ich mich hier wieder melden.

lG.
Werner

lG. aus Wien
A. Werner
Web4Free.at

Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht.
00
Nach oben
web4free Private Nachricht senden WWW
Halli

pr


: 21.08.2003
: 599
: Hannover


: 31.01.2004, 12:34    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Halli
Halli
00 31.01.2004, 12:34
Antworten mit Zitat Antworten mit Zitat

Werner,

1. wie wärs mal mit ner URL in Deinem Profil?

2. Dann kannst Du gleich auch noch 'HTTrack' mit aufnehmen. Dieser Offline-Reader hat mir letzten Monat 1GB an Traffic verursacht bis ich ihm auf die Schliche gekommen bin.

wer besoffen noch geradeaus fahren kann ist bald reif fürs www.mpu-forum.de
00
Nach oben
Halli Private Nachricht senden E-Mail senden WWW Besuche das Xing-Profil dieses Users
web4free

pr


: 30.01.2004
: 41
: Wien


: 31.01.2004, 12:44    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: web4free
web4free
00 31.01.2004, 12:44
Antworten mit Zitat Antworten mit Zitat

Hab ich doch glatt mein Profil nicht bearbeitet gehabt!
Sorry!
Ab sofort mit ICQ und WWW

lG. aus Wien
Werner

lG. aus Wien
A. Werner
Web4Free.at

Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht.
00
Nach oben
web4free Private Nachricht senden WWW
web4free

pr


: 30.01.2004
: 41
: Wien


: 31.01.2004, 21:23    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: web4free
web4free
00 31.01.2004, 21:23
Antworten mit Zitat Antworten mit Zitat

Hi Leute,

Bin jetzt mal fertig geworden mit der Erstfassung der Spamdatenbank.
Zu finden unter http://www.web4free.at/modules.php?UserSession=&name=Antispam

Aus einem anderen Forum hab ich mal so an die 181 Robots gefunden, die ich auch gleich eingetragen hab.
Nachteil: Diese sind noch nicht kategorisiert.
Es ist aber jeder herzlichst dazu eingeladen, wenn er zu den einen ader anderen rob was weiß, es mir per Mail zukommen zu lassen.

Ich hoffe, dass ich hiermit ein brauchbares Projekt herausgestampft hab und Ihr alle fleißig Einträge hinterlässt damit diese Datenbank wirklich groß und brauchbar wird.

lG. aus Wien
Werner

lG. aus Wien
A. Werner
Web4Free.at

Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht.
00
Nach oben
web4free Private Nachricht senden WWW
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Gehe zu Seite 1, 2, 3, 4, 5, 6, 7, 8  Weiter
Seite 1 von 8
Gehe zu Seite 1, 2, 3, 4, 5, 6, 7, 8  Weiter
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Quelltext komprimieren (Umbrüche entfernen) mit htaccess Quelltext komprimieren (Umbrüche entf... derSteffen Ich hab' da mal 'ne Frage 4 10.10.2018, 08:07 Quelltext komprimieren (Umbrüche entfernen) mit htaccess
htaccess http auf https mit www optimieren? htaccess http auf https mit www optim... Lollipop Weiterleitungen und mod_rewrite 1 04.10.2018, 10:23 htaccess http auf https mit www optimieren?
htaccess: canonical URL im Header für alle files htaccess: canonical URL im Header für... Rem Weiterleitungen und mod_rewrite 10 15.09.2018, 16:04 htaccess: canonical URL im Header für alle files
.htaccess Umleitung auf neuen Pfad klappt nicht .htaccess Umleitung auf neuen Pfad kl... siya Ich hab' da mal 'ne Frage 5 21.08.2018, 11:30 .htaccess Umleitung auf neuen Pfad klappt nicht
Unbekannte Weiterleitung in der htaccess? Unbekannte Weiterleitung in der htacc... Major Tom Weiterleitungen und mod_rewrite 3 04.08.2018, 02:23 Unbekannte Weiterleitung in der htaccess?
.htaccess-Einträge - Avoid Refererspam & Co. .htaccess-Einträge - Avoid Refererspa... codemonk Spiders / Robots Themen 26 02.08.2018, 12:13 .htaccess-Einträge - Avoid Refererspam & Co.
STrato htaccess 200 vs 404 vs 203 STrato htaccess 200 vs 404 vs 203 /Affilitiv/ Weiterleitungen und mod_rewrite 2 08.06.2018, 19:39 STrato htaccess 200 vs 404 vs 203


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Email harvester und unerwünschte Bots mit .htaccess sperren Email harvester und unerwünschte Bots mit .htaccess sperren - Österreich Email harvester und unerwünschte Bots mit .htaccess sperren - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Email harvester und unerwünschte Bots mit .htaccess sperren