|
|
Caterham
: 20.09.2004
: 331
|
| : 07.04.2005, 20:49 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
| : |
| die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.? |
genau.
| : |
| Wo liegt den die .htaccess bzw wo muss ich die anlegen.? |
ebenfalls dort, sofern die dortigen Regeln für die komplette Webseite gelten sollen. Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?
Grüße
Robert |
|
| Nach oben |
|
 |
mg8
: 02.04.2005
: 29
|
| : 07.04.2005, 21:36 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
| : |
| Nutzt du sonst noch mod_rewrite in Unterverzeichnissen? |
Ich hab nur ne ganz normale html seite ohne forum etc.... also nicht.
Wo findet den mo_rewrite verwendung.?
mfg
mg8 |
|
| Nach oben |
|
|
bull
: 20.09.2003
: 2176
: Vèneto
|
|
| Nach oben |
|
|
robbelsche
: 09.09.2004
: 1053
: Berlin
|
| : 07.04.2005, 23:47 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
| mg8 hat Folgendes geschrieben: |
die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?
Wo liegt den die .htaccess bzw wo muss ich die anlegen.?
mfg
mg8 |
Wenn die Regeln für die Serverkonfiguration für die gesammte Domain gelten sollen, wie das bei dem Aussperren irgendwelcher unerwünschter User-Agents ja der Fall ist, auch im Wurzelverzeichnis.
Gruß robbelsche
++++++++++++++++++++++++++++++++++++++++++++++++++++
Niemand braucht PR. Vergleichbare Seiten mit weniger PR werden sowieso besser gelistet!  |
|
| Nach oben |
|
|
mg8
: 02.04.2005
: 29
|
| : 08.04.2005, 19:08 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
| kann ich davon aussgehen das alle bots/cralwer die keine robots.txt anfordner Spambots/"Böse" sind, oder kann man das so pauschal nicht sagen.? |
|
| Nach oben |
|
|
Chris2005
: 15.04.2005
: 1287
|
| : 20.04.2005, 22:48 : Zugriff *ohne* User-Agent sperren? |
|
|
Hallo,
habe bisher nichts in der Richtung finden können und auch das mod-rewrite forum bringt nichts zum Vorschein 
Ich hatte kürzlich einen Zugriff auf meine Page ohne User-Agent. Muss ja prinzipiell nichts schlimmes sein, finde ich aber trotzdem etwas merkwürdig.
Wie kann ich sowas per .htaccess und mod_rewrite ausperren?
Würde das so funktionieren?
| Code: |
RewriteCond %{HTTP_USER_AGENT} " "
RewriteRule ^.*$ - [F]
|
Danke im Voraus für die Antwort.
Chris |
|
| Nach oben |
|
|
bull
: 20.09.2003
: 2176
: Vèneto
|
|
| Nach oben |
|
|
Chris2005
: 15.04.2005
: 1287
|
| : 20.04.2005, 23:24 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Danke. Ich hatte den Thread vor ein paar Tagen durchgearbeitet, aber da war das "Problem" noch nicht vorhanden sri für die Bandbreite.
Edit: Nochmal ich . Wenn ich dem "User" mit dem leeren Useragent nun keine Fehlermeldung wie z.B. forbidden entgegenwerfen will, sondern eine z.B. die Datei /user.html. Was muss ich da eintragen?
Problem gelöst:
| Code: |
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule (^.*) http://www.domain.tld/useragent.html [R,L]
|
Bei meinen Tests mit dem Wannabrowser funktionierte das so, wie ich wollte. Habe ich da jetzt noch nen Denkfehler drin, oder passt das "universal"? Ich überlege noch, ob ich aus dem 302er einen 301er mache. Aber nicht, dass eine Suchmaschine sich sowas einfängt und nur die Fehlermeldung indexiert |
|
| Nach oben |
|
|
bull
: 20.09.2003
: 2176
: Vèneto
|
| : 21.04.2005, 08:06 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Machs einfach ohne Umleitung, so daß ein 200 OK zurückgegeben wird:
| Code: |
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^.* useragent.html [L] |
|
|
| Nach oben |
|
|
Chris2005
: 15.04.2005
: 1287
|
| : 21.04.2005, 13:01 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Vielen Dank. Ich hatte etwas ähnliches auch ausprobiert, allerdings hatte ich vor der useragent.html noch einen / und damit hat es nicht funktioniert.
Jetzt klappt es und es besser versteckt, dass eine Umleitung stattfindet! |
|
| Nach oben |
|
|
Iq100
: 03.03.2011
: 6
|
| : 04.03.2011, 12:14 : Email harvester und unerwünschte Bots mit .htaccess sperren |
|
|
Ganz großer Dank und ganz großes Lob an bull!!!
Habe dank deines Spidertutors und der hier befindlichen hilfen einiges dazugelernt Ich selbst habe bisher mit SetEnvIf u.d.G. (Serverkonfig) gearbeitet und musste nun aber erschreckend feststellen das die ganze Sache nicht greift?! Deswegen jetzt .htaccess 
Hätte aber auch noch eine Frage:
Obwohl mein SSL gesondert behandelt wird und auch seperat geloggt wird (SSL-Logfiles) erscheinen in den HTTP-Logfiles (Apachelog) dennoch immer Hex-Requests die mir wie SSL aussehen. Weißt du bzw. weiß irgendwer wie ich das aussperre?
Beispiel:
| : |
[Thu Mar 03 06:16:23 2011] [error] [client xxx.xxx.xxx.xxx] Invalid URI in request \xdc\x8d\xe1\xd5\xb3\x04\xb3\xe1)\xabN8\xcaeY
|
Danke und Grüße
Iq100 |
|
| Nach oben |
|
|
