Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Seite vor Crawlern und Indexierung schützen

Neues Thema eröffnen   Neue Antwort erstellen
 htaccess crawler robots.txt Chrome Extension  
TimOppermann

pr


: 05.07.2009
: 18
: Fulda


: 25.02.2016, 07:44    : Seite vor Crawlern und Indexierung schützen
Von: TimOppermann
TimOppermann
10 25.02.2016, 07:44
Antworten mit Zitat Antworten mit Zitat

Hallo,

ich erstelle zur Zeit in Joomla eine neue Webseite. Da meine alte Webseite noch aktiv ist, habe ich die neue auf no index/no follow gesetzt und den Hauptordner im Webspace mit einem Passwortschutz versehen, so dass immer ein 401 kommt, wenn man die Seite besuchen will. Diese Maßnahmen habe ich gemacht, damit ich keinen duplicate content habe, da die Inhalte fast identisch mit der alten Seite sind. Mein Problem im Moment ist, dass ich aufgrund des Passwortschutzes URL-Rewrite deaktivieren musste, da der Passwortschutz nicht zusammen mit einer .htaccess arbeitet. Dadurch erhalte ich momentan auch andere URL´s, was den Seitenaufbau und die interne Verlinkung erschwert. Desweiteren möchte ich meine OnPage Optimierung mit RSSEO realisieren, dass funktioniert aber leider nicht mit dem vorgeschalteten Passwortschutz.

Meine Frage:
Reicht no index/no follow völlig aus, dass meine Seite nicht indexiert und gecrawlt wird oder muss ich weitere Einstellungen vornehmen?

Danke,
Tim
10
Nach oben
TimOppermann Private Nachricht senden WWW
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

Malte Landwehr

pr


: 22.05.2005
: 3474



: 06.03.2016, 08:52    : Re: Seite vor Crawlern und Indexierung schützen
Von: Malte Landwehr
Malte Landwehr
00 06.03.2016, 08:52
Antworten mit Zitat Antworten mit Zitat

TimOppermann hat Folgendes geschrieben:
da der Passwortschutz nicht zusammen mit einer .htaccess arbeitet.

Das halte ich für ein Gerücht!

Ich würde einfach alle IP-Adressen aussperren außer der, von der du mit deinem Crawler kommst. Das geht direkt in der .htaccess:
Code:
order deny,allow
deny from all
allow from 192.168.0.42


Die 45 wichtigsten SEO-Tools und wie ich sie nutze.
00
Nach oben
Malte Landwehr Private Nachricht senden WWW Besuche das Xing-Profil dieses Users
gmmed

pr


: 10.08.2014
: 30



: 07.03.2016, 16:23    : Seite vor Crawlern und Indexierung schützen
Von: gmmed
gmmed
00 07.03.2016, 16:23
Antworten mit Zitat Antworten mit Zitat

Ich mache das immer mit einem .htaccess Passwort.

Auf die restlichen Rewrite Rules hat das keinen Einfluss. Zumindest sind mir da noch keine Probleme aufgefallen.
00
Nach oben
gmmed Private Nachricht senden WWW
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Risiko einstmals abgestrafte Seite Risiko einstmals abgestrafte Seite SeriousBadMan Ich hab' da mal 'ne Frage 2 09.02.2018, 14:32 Risiko einstmals abgestrafte Seite
Sichtbarkeit einer Seite kommt nicht aus den Puschen Sichtbarkeit einer Seite kommt nicht ... OlTi Ich hab' da mal 'ne Frage 11 07.02.2018, 16:12 Sichtbarkeit einer Seite kommt nicht aus den Puschen
Ab wann ist eine Seite gewerblich/kommerziell? Ab wann ist eine Seite gewerblich/kom... pimpi Ich hab' da mal 'ne Frage 15 05.02.2018, 14:19 Ab wann ist eine Seite gewerblich/kommerziell?
Erneute Frage zu Indexierung Erneute Frage zu Indexierung domgro Ich hab' da mal 'ne Frage 6 01.02.2018, 12:59 Erneute Frage zu Indexierung
Google rankt die falsche Seite Google rankt die falsche Seite Nihilist58 Ich hab' da mal 'ne Frage 5 31.01.2018, 12:35 Google rankt die falsche Seite
Probleme mit Indexierung? Probleme mit Indexierung? domgro Ich hab' da mal 'ne Frage 7 14.01.2018, 12:54 Probleme mit Indexierung?
Alle Artikel einer Seite auf einmal veröffentlichen? Alle Artikel einer Seite auf einmal v... BorisK Ich hab' da mal 'ne Frage 8 11.01.2018, 16:48 Alle Artikel einer Seite auf einmal veröffentlichen?


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Seite vor Crawlern und Indexierung schützen Seite vor Crawlern und Indexierung schützen - Österreich Seite vor Crawlern und Indexierung schützen - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Seite vor Crawlern und Indexierung schützen