Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Seite vor Crawlern und Indexierung schützen

Neues Thema eröffnen   Neue Antwort erstellen
 htaccess crawler robots.txt Chrome Extension  
TimOppermann

pr


: 05.07.2009
: 18
: Fulda


: 25.02.2016, 08:44    : Seite vor Crawlern und Indexierung schützen
Von: TimOppermann
TimOppermann
10 25.02.2016, 08:44
Antworten mit Zitat Antworten mit Zitat

Hallo,

ich erstelle zur Zeit in Joomla eine neue Webseite. Da meine alte Webseite noch aktiv ist, habe ich die neue auf no index/no follow gesetzt und den Hauptordner im Webspace mit einem Passwortschutz versehen, so dass immer ein 401 kommt, wenn man die Seite besuchen will. Diese Maßnahmen habe ich gemacht, damit ich keinen duplicate content habe, da die Inhalte fast identisch mit der alten Seite sind. Mein Problem im Moment ist, dass ich aufgrund des Passwortschutzes URL-Rewrite deaktivieren musste, da der Passwortschutz nicht zusammen mit einer .htaccess arbeitet. Dadurch erhalte ich momentan auch andere URL´s, was den Seitenaufbau und die interne Verlinkung erschwert. Desweiteren möchte ich meine OnPage Optimierung mit RSSEO realisieren, dass funktioniert aber leider nicht mit dem vorgeschalteten Passwortschutz.

Meine Frage:
Reicht no index/no follow völlig aus, dass meine Seite nicht indexiert und gecrawlt wird oder muss ich weitere Einstellungen vornehmen?

Danke,
Tim
10
Nach oben
TimOppermann Private Nachricht senden WWW
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

Malte Landwehr

pr


: 22.05.2005
: 3474



: 06.03.2016, 09:52    : Re: Seite vor Crawlern und Indexierung schützen
Von: Malte Landwehr
Malte Landwehr
00 06.03.2016, 09:52
Antworten mit Zitat Antworten mit Zitat

TimOppermann hat Folgendes geschrieben:
da der Passwortschutz nicht zusammen mit einer .htaccess arbeitet.

Das halte ich für ein Gerücht!

Ich würde einfach alle IP-Adressen aussperren außer der, von der du mit deinem Crawler kommst. Das geht direkt in der .htaccess:
Code:
order deny,allow
deny from all
allow from 192.168.0.42


Die 45 wichtigsten SEO-Tools und wie ich sie nutze.
00
Nach oben
Malte Landwehr Private Nachricht senden WWW Besuche das Xing-Profil dieses Users
gmmed

pr


: 10.08.2014
: 30



: 07.03.2016, 17:23    : Seite vor Crawlern und Indexierung schützen
Von: gmmed
gmmed
00 07.03.2016, 17:23
Antworten mit Zitat Antworten mit Zitat

Ich mache das immer mit einem .htaccess Passwort.

Auf die restlichen Rewrite Rules hat das keinen Einfluss. Zumindest sind mir da noch keine Probleme aufgefallen.
00
Nach oben
gmmed Private Nachricht senden WWW
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
2 Quellen mit 366 und 334 Backlinks auf meine Seite?! 2 Quellen mit 366 und 334 Backlinks a... Jorgo85 Ich hab' da mal 'ne Frage 1 16.05.2018, 18:09 2 Quellen mit 366 und 334 Backlinks auf meine Seite?!
Seite fliegt immer wieder zum Main Keyword aus den Serps Seite fliegt immer wieder zum Main Ke... seokrank.de Ich hab' da mal 'ne Frage 15 09.05.2018, 11:42 Seite fliegt immer wieder zum Main Keyword aus den Serps
[B] Erstellung einer großen Affiliate-Seite [B] Erstellung einer großen Affiliate... EckeMedia Marktplatz: Dienstleistungen 0 15.04.2018, 19:36 [B] Erstellung einer großen Affiliate-Seite
Adwords + Schnellere Indexierung? Adwords + Schnellere Indexierung? david19 Google Forum 3 13.04.2018, 18:36 Adwords + Schnellere Indexierung?
Wie schließe ich Elemente von der Indexierung aus? Wie schließe ich Elemente von der Ind... fenomeno0chris Content Management Systeme, Blog- & Shopsysteme 3 28.03.2018, 11:37 Wie schließe ich Elemente von der Indexierung aus?
Vielzahl von Links zu Amazon von einer Seite Vielzahl von Links zu Amazon von eine... blondes-gift Ich hab' da mal 'ne Frage 4 24.03.2018, 17:10 Vielzahl von Links zu Amazon von einer Seite
Lange (Schlauch-)Seiten und Google-Indexierung Lange (Schlauch-)Seiten und Google-In... ElCattivo Google Pagerank und Backlink-Forum 6 15.03.2018, 16:52 Lange (Schlauch-)Seiten und Google-Indexierung


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Seite vor Crawlern und Indexierung schützen Seite vor Crawlern und Indexierung schützen - Österreich Seite vor Crawlern und Indexierung schützen - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Seite vor Crawlern und Indexierung schützen