Seite 1 von 1

Seite vor Crawlern und Indexierung schützen

Verfasst: 25.02.2016, 07:44
von TimOppermann
Hallo,

ich erstelle zur Zeit in Joomla eine neue Webseite. Da meine alte Webseite noch aktiv ist, habe ich die neue auf no index/no follow gesetzt und den Hauptordner im Webspace mit einem Passwortschutz versehen, so dass immer ein 401 kommt, wenn man die Seite besuchen will. Diese Maßnahmen habe ich gemacht, damit ich keinen duplicate content habe, da die Inhalte fast identisch mit der alten Seite sind. Mein Problem im Moment ist, dass ich aufgrund des Passwortschutzes URL-Rewrite deaktivieren musste, da der Passwortschutz nicht zusammen mit einer .htaccess arbeitet. Dadurch erhalte ich momentan auch andere URL´s, was den Seitenaufbau und die interne Verlinkung erschwert. Desweiteren möchte ich meine OnPage Optimierung mit RSSEO realisieren, dass funktioniert aber leider nicht mit dem vorgeschalteten Passwortschutz.

Meine Frage:
Reicht no index/no follow völlig aus, dass meine Seite nicht indexiert und gecrawlt wird oder muss ich weitere Einstellungen vornehmen?

Danke,
Tim

Verfasst:
von

Re: Seite vor Crawlern und Indexierung schützen

Verfasst: 06.03.2016, 08:52
von Malte Landwehr
TimOppermann hat geschrieben:da der Passwortschutz nicht zusammen mit einer .htaccess arbeitet.
Das halte ich für ein Gerücht!

Ich würde einfach alle IP-Adressen aussperren außer der, von der du mit deinem Crawler kommst. Das geht direkt in der .htaccess:

Code: Alles auswählen

order deny,allow
deny from all
allow from 192.168.0.42

Verfasst: 07.03.2016, 16:23
von gmmed
Ich mache das immer mit einem .htaccess Passwort.

Auf die restlichen Rewrite Rules hat das keinen Einfluss. Zumindest sind mir da noch keine Probleme aufgefallen.