ABAKUS

Verfasst: **08.05.2015, 16:20**

Hallo,
ich habe ein Problem mit meiner .htaccess-Datei. Irgendwie sperrt der die Webcrawler nicht. Nachfolgend der Code mit einem Beispielcrawler. Ist da ein Fehler drin? Die Datei liegt eigentlich auch richtig im Root /home/benutzer/public_html/.htaccess

Über Hilfe würde ich mich wirklich sehr freuen, da ich gerade etwas irritiert bin.

Code: Alles auswählen

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - &#91;L&#93;
RewriteCond %&#123;REQUEST_FILENAME&#125; !-f
RewriteCond %&#123;REQUEST_FILENAME&#125; !-d
RewriteRule . /index.php &#91;L&#93;
</IfModule>

# END WordPress

RewriteEngine On
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^.*AhrefsBot.*$ &#91;NC,OR&#93;
RewriteRule ^ - &#91;L,R=404&#93;

Verfasst: **11.05.2015, 08:38**

Das hier sollte klappen (gibt 404 FORBIDDEN zurück):

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; AhrefsBot/&#91;0-9&#93;
RewriteRule ^ - &#91;F,L&#93;

Verfasst: **11.05.2015, 08:52**

Erst einmal vielen Dank.

Dachte aber, das [F,L] ein 403 Forbidden zurück gibt?

Verfasst: **11.05.2015, 13:24**

Du hast die Engine doppelt gestartet - falsch
Einmal "sauber" in einem if_module Block, den Rest nicht - zumindest unfein
Und dann achte mal auf die Verwendung vom [L]! Wenn von oben nach unten eine Regel mit Last zutrifft, werden danachfolgende nicht mehr beachtet....

ABAKUS

.htaccess - Webcrawler-Sperre fkt. nicht

.htaccess - Webcrawler-Sperre fkt. nicht