|
|
viggen
: 12.05.2003
: 6268
: Villach
|
| : 08.08.2003, 10:02 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Macht das noch jemand?
Über Robots.txt bots zu bannen ist ja toll, wenn sich die bots an die robot.txt befehle halten, wenn nicht nützt robot.txt leider nichts.
Habe daher vor ein paar Wochen meine .htaccess file umgeändert und die von mir gebannten Eindringlinge sind nie wieder gesehen.
| : |
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F] |
Die sind diejenigen die mir bisher aufgefallen sind und daher gebannt wurden, ich füge bei bedarf einfach eine zeile mit dem namen des neuen Eindringlins ein.
Funktioniert nur mit Apache server.
----- Vertriebspartner Gesucht ----- |
|
| Nach oben |
|
 |
viggen
: 12.05.2003
: 6268
: Villach
|
| : 09.08.2003, 06:39 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
In meinen Logs sah ich heute früh das ein gewisser
"MSIE 5.0; Windows NT; DigExt; DTS Agent" direkt auf meine Kontaktseite ging.
Bei DTS Agent handelt es sich um einen Email Sammler auch unter Beijing Express E-mail Address Extractor bekannt. Eine kurze Zeile in meiner .htaccess file
RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR]
check mit Wannabrowser, und weg mit dem Spammer.
----- Vertriebspartner Gesucht ----- |
|
| Nach oben |
|
|
Southmedia
: 20.07.2003
: 7345
|
| : 09.08.2003, 11:50 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
| Für sowas sollte man mal eine richtig große Datenbank anlegen wo jeder hinzufügen kann mit Begründung und so damit da ALLE Zugriff drauf haben, denn ich denke dass es ja auch im Interesse von allen liegt. |
|
| Nach oben |
|
|
Webby
: 17.10.2001
: 5428
: Hannover
|
|
| Nach oben |
|
|
viggen
: 12.05.2003
: 6268
: Villach
|
| : 10.08.2003, 09:38 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Also ich werde wenn ich weitere unfreundliche Eindringlinge finde die hier melden, wenn wir genug beinander haben kann vielleicht Webby dann eine Seite den Widerlingen widmen.
----- Vertriebspartner Gesucht ----- |
|
| Nach oben |
|
|
bugscout
: 23.06.2003
: 2595
: Neufundland
|
| : 10.08.2003, 10:39 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
moin viggen,
wäre toll, wenn die ein wenig gruppiert wären,
ich z.b. habe was gegen email-harvester, wogegen
mir der einsatz von black widow zum offline anschauen
relativ egal ist.
grüsse
Diese Regierung macht nichts falsch. Für einige Leute
ist die Politik von Vorteil - nur wir sind nicht dabei.
Georg Schramm |
|
| Nach oben |
|
|
viggen
: 12.05.2003
: 6268
: Villach
|
| : 10.08.2003, 11:00 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
werde ich machen, welche gruppierung sollten es sein?
Würde diese Unterteilung reichen?
Email-harvester (gibts ein deutsches word dafür[das auch verwendet wird]?)
Offline Browser
Suchmaschinen
Andere
Vorschläge?
----- Vertriebspartner Gesucht ----- |
|
| Nach oben |
|
|
bugscout
: 23.06.2003
: 2595
: Neufundland
|
| : 10.08.2003, 11:12 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
moin moin,
das ist doch schon ganz gut, bei bedarf und neuen ideen der "kollegen" kann man das noch erweitern.
ich hab letzt irgendwo mal nen tip zum sammeln der bots, die sich nicht an disallow halten gelesen
1) unsichtbares gif mit link auf ein verzeichnis (z.b. boesewichte)
2) eine leere oder unsinnige datei darein
3) robots.txt disallow boesewichte
alle die da spidern halten sich nicht an die regeln.
werds mal ausprobieren
<edit>
seite steht "verein für angewandte thermodynamik"
mit einem script, dass immer erstmal 100 adressen von vereinsmitgliedern produziert.
</edit>
grüsse
Diese Regierung macht nichts falsch. Für einige Leute
ist die Politik von Vorteil - nur wir sind nicht dabei.
Georg Schramm |
|
| Nach oben |
|
|
web4free
: 30.01.2004
: 41
: Wien
|
| : 30.01.2004, 14:54 : Würde es gerne machen!!! |
|
|
Hi all,
würde mich gerne mal hinsetzen und ein solches Script schreiben.
Natürlich nur wenn noch Interesse daran besteht.
Vorstellen könnte ich es mir dann so:
Einer von Euch kennt so einen Eindringling.
z.B.: BlackWidow
Der Eintrag in der .htaccess würde ja dann so aussehen:
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow
Den Namen BlackWidow könnte man dann über ein Eingabefeld in die Datenbank speisen.
Und dann gibt es noch die Möglichkeit alle gesammelten .htaccess konform anzeigen zu lassen.
In der Startphase würden aber alle auf einmal angezeigt werden.
Also kein Katalog wo ich auswählen kann.
Ich kann aber schon in der Startphase mehrere Felder mit einbinden,
damit die Abfrage später umso feiner wird.
Wenn Ihr immer noch Interesse daran habt gebt mir hier bitte (gerne auch mit Vorschlägen) Bescheid.
Eine Anfangsliste wäre ja hier schon gepostet.
Würde mich freuen auf zahlreiche Vorschläge!
PS: Ich nehme an, dass ich ca. 2 Tage brauchen würde um das Script ordentlich anbieten zu können.
lG. aus Wien
Werner |
|
| Nach oben |
|
|
Waldeule
: 27.11.2003
: 76
|
| : 30.01.2004, 16:53 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
| viggen hat Folgendes geschrieben: |
| Würde diese Unterteilung reichen? |
Downloadmanager wie
| : |
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
|
sollten auch eine eigene Kategorie bekommen. Bei mir dürfen die nämlich saugen. |
|
| Nach oben |
|
|
Webby
: 17.10.2001
: 5428
: Hannover
|
| : 30.01.2004, 17:35 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Willkommen am Board Web4Free 
Sowas zum basteln hat sicheriulich ein nutzt. Ich wird auch persönlich interessiert in so eine script.
Alan
ABAKUS Internet Marketing
Professionelle Suchmaschinenoptimierung und Suchmaschinenmarketing |
|
| Nach oben |
|
|
web4free
: 30.01.2004
: 41
: Wien
|
| : 30.01.2004, 22:35 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Hi,
Na ich werd mich da mal ransetzen und es auf meiner Seite online stellen.
Sobald ich damit online bin werd ich mich hier wieder melden.
lG.
Werner
lG. aus Wien
A. Werner
Web4Free.at
Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht. |
|
| Nach oben |
|
|
Halli
: 21.08.2003
: 592
: Braunschweig
|
| : 31.01.2004, 11:34 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Werner,
1. wie wärs mal mit ner URL in Deinem Profil?
2. Dann kannst Du gleich auch noch 'HTTrack' mit aufnehmen. Dieser Offline-Reader hat mir letzten Monat 1GB an Traffic verursacht bis ich ihm auf die Schliche gekommen bin.
wer besoffen noch geradeaus fahren kann ist bald reif fürs www.mpu-forum.de |
|
| Nach oben |
|
|
web4free
: 30.01.2004
: 41
: Wien
|
| : 31.01.2004, 11:44 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Hab ich doch glatt mein Profil nicht bearbeitet gehabt! 
Sorry!
Ab sofort mit ICQ und WWW
lG. aus Wien
Werner
lG. aus Wien
A. Werner
Web4Free.at
Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht. |
|
| Nach oben |
|
|
web4free
: 30.01.2004
: 41
: Wien
|
| : 31.01.2004, 20:23 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Hi Leute,
Bin jetzt mal fertig geworden mit der Erstfassung der Spamdatenbank.
Zu finden unter http://www.web4free.at/modules.php?UserSession=&name=Antispam
Aus einem anderen Forum hab ich mal so an die 181 Robots gefunden, die ich auch gleich eingetragen hab.
Nachteil: Diese sind noch nicht kategorisiert.
Es ist aber jeder herzlichst dazu eingeladen, wenn er zu den einen ader anderen rob was weiß, es mir per Mail zukommen zu lassen.
Ich hoffe, dass ich hiermit ein brauchbares Projekt herausgestampft hab und Ihr alle fleißig Einträge hinterlässt damit diese Datenbank wirklich groß und brauchbar wird.
lG. aus Wien
Werner
lG. aus Wien
A. Werner
Web4Free.at
Das Leben ist eine Community und ich bin immer da anzutreffen,
wo man mich gerade braucht. |
|
| Nach oben |
|
|
