registrieren registriertes Mitglied


Anzeige

Anzeige

.htaccess - Webcrawler-Sperre fkt. nicht

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
CubeMaster
PostRank 7
PostRank 7
Beiträge: 547
Registriert: 15.12.2004, 21:21

Beitrag CubeMaster » 08.05.2015, 16:20 .htaccess - Webcrawler-Sperre fkt. nicht

Hallo,
ich habe ein Problem mit meiner .htaccess-Datei. Irgendwie sperrt der die Webcrawler nicht. Nachfolgend der Code mit einem Beispielcrawler. Ist da ein Fehler drin? Die Datei liegt eigentlich auch richtig im Root /home/benutzer/public_html/.htaccess

Über Hilfe würde ich mich wirklich sehr freuen, da ich gerade etwas irritiert bin. :(

Code: Alles auswählen

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - &#91;L&#93;
RewriteCond %&#123;REQUEST_FILENAME&#125; !-f
RewriteCond %&#123;REQUEST_FILENAME&#125; !-d
RewriteRule . /index.php &#91;L&#93;
</IfModule>

# END WordPress

RewriteEngine On
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^.*AhrefsBot.*$ &#91;NC,OR&#93;
RewriteRule ^ - &#91;L,R=404&#93;

Anzeige von: