ich habe ein Problem mit meiner .htaccess-Datei. Irgendwie sperrt der die Webcrawler nicht. Nachfolgend der Code mit einem Beispielcrawler. Ist da ein Fehler drin? Die Datei liegt eigentlich auch richtig im Root /home/benutzer/public_html/.htaccess
Über Hilfe würde ich mich wirklich sehr freuen, da ich gerade etwas irritiert bin.
Code: Alles auswählen
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteRule ^ - [L,R=404]