Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Email harvester und unerwünschte Bots mit .htaccess sperren

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite Zurück  1, 2, 3, 4, 5, 6, 7
 Zugrife von xyz-domains verhindern Robots.txt und Indexierung Probleme/Fragen  
Caterham

pr


: 20.09.2004
: 331



: 07.04.2005, 19:49    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Caterham
Caterham
00 07.04.2005, 19:49
Antworten mit Zitat Antworten mit Zitat

:
die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?
genau.
:
Wo liegt den die .htaccess bzw wo muss ich die anlegen.?
ebenfalls dort, sofern die dortigen Regeln für die komplette Webseite gelten sollen. Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?

Grüße
Robert
00
Nach oben
Caterham Private Nachricht senden
mg8

pr


: 02.04.2005
: 29



: 07.04.2005, 20:36    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: mg8
mg8
00 07.04.2005, 20:36
Antworten mit Zitat Antworten mit Zitat

:
Nutzt du sonst noch mod_rewrite in Unterverzeichnissen?

Ich hab nur ne ganz normale html seite ohne forum etc.... also nicht.
Wo findet den mo_rewrite verwendung.?

mfg
mg8
00
Nach oben
mg8 Private Nachricht senden
bull

pr


: 20.09.2003
: 2173
: Vèneto


: 07.04.2005, 20:45    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bull
bull
00 07.04.2005, 20:45
Antworten mit Zitat Antworten mit Zitat

http://www.google.de/search?hl=de&c2coff=1&q=mod_rewrite&meta=lr%3Dlang_de 00
Nach oben
bull Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

robbelsche

pr


: 09.09.2004
: 1053
: Berlin


: 07.04.2005, 22:47    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: robbelsche
robbelsche
00 07.04.2005, 22:47
Antworten mit Zitat Antworten mit Zitat

mg8 hat Folgendes geschrieben:
die robost.txt liegt doch dort wo auch die index.html von der webseite ist oder.?
Wo liegt den die .htaccess bzw wo muss ich die anlegen.?
mfg
mg8


Wenn die Regeln für die Serverkonfiguration für die gesammte Domain gelten sollen, wie das bei dem Aussperren irgendwelcher unerwünschter User-Agents ja der Fall ist, auch im Wurzelverzeichnis.

Gruß robbelsche
++++++++++++++++++++++++++++++++++++++++++++++++++++
Niemand braucht PR. Vergleichbare Seiten mit weniger PR werden sowieso besser gelistet!
00
Nach oben
robbelsche Private Nachricht senden
mg8

pr


: 02.04.2005
: 29



: 08.04.2005, 18:08    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: mg8
mg8
00 08.04.2005, 18:08
Antworten mit Zitat Antworten mit Zitat

kann ich davon aussgehen das alle bots/cralwer die keine robots.txt anfordner Spambots/"Böse" sind, oder kann man das so pauschal nicht sagen.?00
Nach oben
mg8 Private Nachricht senden
Chris2005

pr


: 14.04.2005
: 1284



: 20.04.2005, 21:48    : Zugriff *ohne* User-Agent sperren?
Von: Chris2005
Chris2005
00 20.04.2005, 21:48
Antworten mit Zitat Antworten mit Zitat

Hallo,

habe bisher nichts in der Richtung finden können und auch das mod-rewrite forum bringt nichts zum Vorschein

Ich hatte kürzlich einen Zugriff auf meine Page ohne User-Agent. Muss ja prinzipiell nichts schlimmes sein, finde ich aber trotzdem etwas merkwürdig.

Wie kann ich sowas per .htaccess und mod_rewrite ausperren?

Würde das so funktionieren?

Code:

RewriteCond %{HTTP_USER_AGENT} " "
RewriteRule ^.*$ - [F]


Danke im Voraus für die Antwort.

Chris
00
Nach oben
Chris2005 Private Nachricht senden
bull

pr


: 20.09.2003
: 2173
: Vèneto


: 20.04.2005, 22:18    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bull
bull
00 20.04.2005, 22:18
Antworten mit Zitat Antworten mit Zitat

Nein, würde nicht.

Code:

RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^.*$ - [F]


Siehe aber auch:
http://www.abakus-internet-marketing.de/foren/viewtopic/t-985/postdays-0/postorder-asc/start-60.html#95159
00
Nach oben
bull Private Nachricht senden
Chris2005

pr


: 14.04.2005
: 1284



: 20.04.2005, 22:24    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Chris2005
Chris2005
00 20.04.2005, 22:24
Antworten mit Zitat Antworten mit Zitat

Danke. Ich hatte den Thread vor ein paar Tagen durchgearbeitet, aber da war das "Problem" noch nicht vorhanden sri für die Bandbreite.

Edit: Nochmal ich . Wenn ich dem "User" mit dem leeren Useragent nun keine Fehlermeldung wie z.B. forbidden entgegenwerfen will, sondern eine z.B. die Datei /user.html. Was muss ich da eintragen?

Problem gelöst:

Code:

RewriteCond %{HTTP_USER_AGENT} ^$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule (^.*) http://www.domain.tld/useragent.html [R,L]


Bei meinen Tests mit dem Wannabrowser funktionierte das so, wie ich wollte. Habe ich da jetzt noch nen Denkfehler drin, oder passt das "universal"? Ich überlege noch, ob ich aus dem 302er einen 301er mache. Aber nicht, dass eine Suchmaschine sich sowas einfängt und nur die Fehlermeldung indexiert
00
Nach oben
Chris2005 Private Nachricht senden
bull

pr


: 20.09.2003
: 2173
: Vèneto


: 21.04.2005, 07:06    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: bull
bull
00 21.04.2005, 07:06
Antworten mit Zitat Antworten mit Zitat

Machs einfach ohne Umleitung, so daß ein 200 OK zurückgegeben wird:

Code:
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^.* useragent.html [L]
00
Nach oben
bull Private Nachricht senden
Chris2005

pr


: 14.04.2005
: 1284



: 21.04.2005, 12:01    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Chris2005
Chris2005
00 21.04.2005, 12:01
Antworten mit Zitat Antworten mit Zitat

Vielen Dank. Ich hatte etwas ähnliches auch ausprobiert, allerdings hatte ich vor der useragent.html noch einen / und damit hat es nicht funktioniert.

Jetzt klappt es und es besser versteckt, dass eine Umleitung stattfindet!
00
Nach oben
Chris2005 Private Nachricht senden
Iq100

pr


: 03.03.2011
: 6



: 04.03.2011, 11:14    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Iq100
Iq100
00 04.03.2011, 11:14
Antworten mit Zitat Antworten mit Zitat

Ganz großer Dank und ganz großes Lob an bull!!!

Habe dank deines Spidertutors und der hier befindlichen hilfen einiges dazugelernt Ich selbst habe bisher mit SetEnvIf u.d.G. (Serverkonfig) gearbeitet und musste nun aber erschreckend feststellen das die ganze Sache nicht greift?! Deswegen jetzt .htaccess

Hätte aber auch noch eine Frage:
Obwohl mein SSL gesondert behandelt wird und auch seperat geloggt wird (SSL-Logfiles) erscheinen in den HTTP-Logfiles (Apachelog) dennoch immer Hex-Requests die mir wie SSL aussehen. Weißt du bzw. weiß irgendwer wie ich das aussperre?

Beispiel:
:

[Thu Mar 03 06:16:23 2011] [error] [client xxx.xxx.xxx.xxx] Invalid URI in request \xdc\x8d\xe1\xd5\xb3\x04\xb3\xe1)\xabN8\xcaeY


Danke und Grüße
Iq100
00
Nach oben
Iq100 Private Nachricht senden
Danny3254

pr


: 29.03.2017
: 6



: 17.05.2017, 10:12    : Email harvester und unerwünschte Bots mit .htaccess sperren
Von: Danny3254
Danny3254
00 17.05.2017, 10:12
Antworten mit Zitat Antworten mit Zitat

Gibt es denn eine neue Liste mittlerweile oder wird diese noch aktualisiert ?
Ist doch schon über 10 Jahre alt =).
00
Nach oben
Danny3254 Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Gehe zu Seite Zurück  1, 2, 3, 4, 5, 6, 7
Seite 7 von 7
Gehe zu Seite Zurück  1, 2, 3, 4, 5, 6, 7
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
301 Redirect per htaccess  mit Parametern 301 Redirect per htaccess mit Parame... GoogleRocks Weiterleitungen und mod_rewrite 5 20.11.2017, 19:38 301 Redirect per htaccess  mit Parametern
Müllmail.com - Wegwerf-Email Anbieter Müllmail.com - Wegwerf-Email Anbieter Trashmaster SEO-Feedback und -Reviews von Mitgliederwebseiten 0 29.10.2017, 23:12 Müllmail.com - Wegwerf-Email Anbieter
robots.txt - URL mit varibablem Zwischenpfad sperren robots.txt - URL mit varibablem Zwisc... mxdb Ich hab' da mal 'ne Frage 3 25.10.2017, 09:00 robots.txt - URL mit varibablem Zwischenpfad sperren
"[...]Methoden von Social Bots und Fake-Accounts[...]&q "[...]Methoden von Social Bots u... hanneswobus Social Media & Content-Marketing 2 14.09.2017, 10:43 "[...]Methoden von Social Bots und Fake-Accounts[...]&q
SMS Sign-Up für Email-Newsletter? SMS Sign-Up für Email-Newsletter? gaschi Andere Marketingmaßnahmen und Webpromotion 0 01.08.2017, 13:50 SMS Sign-Up für Email-Newsletter?
Email-Newsletter-Versand: Spamfilter meiden Email-Newsletter-Versand: Spamfilter ... nerd Andere Marketingmaßnahmen und Webpromotion 3 13.06.2017, 13:56 Email-Newsletter-Versand: Spamfilter meiden
google-Eigenanzeigen sperren google-Eigenanzeigen sperren branchenbaer Google Adsense 3 01.06.2017, 10:55 google-Eigenanzeigen sperren


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7 Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7 - Österreich Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7 - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Email harvester und unerwünschte Bots mit .htaccess sperren - Seite 7