Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

robots.txt & disallow bei website-relaunch

Neues Thema eröffnen   Neue Antwort erstellen
 Wechsel Alte auf Neue Seite und Indexierung Webmaster Tools - Crawlingfehler von Erotikseiten  
Dippes

pr


: 07.05.2013
: 3
: Köln


: 08.05.2013, 09:41    : robots.txt & disallow bei website-relaunch
Von: Dippes
Dippes
00 08.05.2013, 09:41
Antworten mit Zitat Antworten mit Zitat

Hallo zusammen,

habe eine größere Seite relauncht mit etwa 7000 Seiten.

Die Verzeichnisstruktur hat sich geändert.
Damit die externen Links noch abrufbar sind, haben wir alle alten Seiten als Umleitungen auf die entsprechenden neuen Seiten angelegt.

Beispiel alte Seiten:
www.beispieldomain.de/en/XY_1234.html
www.beispieldomain.de/en/XY_1235.html
www.beispieldomain.de/en/XY_1236.html

Damit diese nicht mehr im Index auftauchen haben wir sie in der Robots geblockt durch
Disallow: /en/XY_

FRAGE:
Die Webmastertools-Daten zu indexierten, nicht-indexierten und geblockten Seiten könnten folgenden Schluss zulassen:
Durch das Disallow wurden auch die neuen Seiten hinter den Umleitungen geblockt.
Das kann aber eigentlich nicht sein, oder!?
Da alle neuen Seiten auch in der sitemap.xml submitted wurden...

Kann mir das irgendjemand mit Sicherheit bestätigen? Danke schon mal!
Ich verzweifel ein wenig...
#Crazy
00
Nach oben
Dippes Private Nachricht senden Besuche das Xing-Profil dieses Users
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

Melegrian

pr


: 30.01.2005
: 3170



: 08.05.2013, 10:20    : robots.txt & disallow bei website-relaunch
Von: Melegrian
Melegrian
00 08.05.2013, 10:20
Antworten mit Zitat Antworten mit Zitat

Mit Sicherheit nicht, doch wenn der Googlebot in der robots.txt gesagt bekommt, dass die Seiten nicht mehr besucht werden sollten, wird der Googlebot die URLs der Seiten auch nicht mehr aufrufen und wenn Googlebot die Seiten nicht mehr aufruft, kann der Server die nicht mehr erfolgenden Aufrufe auch nicht mehr weiterleiten.

Scripts und Plugins für Cookie-Hinweise
00
Nach oben
Melegrian Private Nachricht senden
JonasBreuer

pr


: 29.04.2013
: 37
: Siegburg


: 08.05.2013, 11:50    : robots.txt & disallow bei website-relaunch
Von: JonasBreuer
JonasBreuer
00 08.05.2013, 11:50
Antworten mit Zitat Antworten mit Zitat

Sehe ich genau so wie Melegrian. Disallow bedeutet, dass der Bot sich die entsprechenden URLs nicht angucken darf. Er bekommt also die Umleitung gar nicht mit. Du erreichst damit eher das Gegenteil, nämlich dass die alten Seiten länger im Index bleiben.

Fazit: Schmeiß die Anweisung in der robots.txt raus. Durch das 301 wird Google selbst die alten URLs deindizieren und dafür die neuen URLs indizieren.
00
Nach oben
JonasBreuer Private Nachricht senden WWW Besuche das Xing-Profil dieses Users
Dippes

pr


: 07.05.2013
: 3
: Köln


: 08.05.2013, 14:46    : robots.txt & disallow bei website-relaunch
Von: Dippes
Dippes
00 08.05.2013, 14:46
Antworten mit Zitat Antworten mit Zitat

ja stimmt, setzen wir so um .

Danke!
00
Nach oben
Dippes Private Nachricht senden Besuche das Xing-Profil dieses Users
IT-Knecht

pr


: 13.02.2004
: 772
: ~ Düsseldorf


: 08.05.2013, 15:18    : robots.txt & disallow bei website-relaunch
Von: IT-Knecht
IT-Knecht
00 08.05.2013, 15:18
Antworten mit Zitat Antworten mit Zitat

Für ein uralten Forum mit 8000 Threads habe ich bei einem Softwareupdate aufgeräumt.
Je nach dem robots.txt, 301 oder 404.
Nach sechs Wochen ist die Anzahl der Seiten bei site:domain.tld (70000) noch nicht zurück gegegangen.
(Ist mir auch egal, es kommt nicht so drauf an und die alten Seiten ranken nicht mehr.)

Insbesondere die per Robots txt gesperrten URLs bleiben im Index, mit dem Vermerk:
"Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar."

Was Google einmal in den Krallen hat will Google nicht mehr loslassen.
Ein bisschen blöd ist das, wenn schon die URL Informationen enthält, zu denen man nicht gefunden werden will.

Die Entfernung einer Seite über die WMT hat allerdings binnen 24h geklappt.


- Martin
00
Nach oben
IT-Knecht Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Website mit http und https im Index Website mit http und https im Index Myrtus Ich hab' da mal 'ne Frage 5 15.03.2019, 13:19 Website mit http und https im Index
IP der Website ändern Nachteile IP der Website ändern Nachteile supervisior Webmaster Hardware, Server, Hosting, Technik 5 07.03.2019, 08:17 IP der Website ändern Nachteile
Web Relaunch (light) - Trafficverlust Web Relaunch (light) - Trafficverlust Schuhputzer Domainpopularität / Link-Marketing, Backlinks aufbauen & Seeding 2 06.03.2019, 20:12 Web Relaunch (light) - Trafficverlust
Webseite mit Porno-Inhalten (gehackte Website?) Webseite mit Porno-Inhalten (gehackte... top Webprogrammierung, Templatedesign & Microformats 14 22.02.2019, 15:51 Webseite mit Porno-Inhalten (gehackte Website?)
robots.txt: Unterseiten von dir/ sperren, aber "dir/&am robots.txt: Unterseiten von dir/ sper... umwelt Ich hab' da mal 'ne Frage 5 21.02.2019, 08:48 robots.txt: Unterseiten von dir/ sperren, aber "dir/&am
Mobile Local Serps Bild Robots.txt Mobile Local Serps Bild Robots.txt Boromir Ich hab' da mal 'ne Frage 6 15.02.2019, 10:08 Mobile Local Serps Bild Robots.txt
Webshop-Relaunch best practises Startseite Webshop-Relaunch best practises Start... hanneswobus Ich hab' da mal 'ne Frage 7 07.02.2019, 09:56 Webshop-Relaunch best practises Startseite


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | SEO Blog | SEO Online Tools | SEO Angebote | Modulare SEO Seminare

Impressum | Datenschutz

robots.txt & disallow bei website-relaunch robots.txt & disallow bei website-relaunch - Österreich robots.txt & disallow bei website-relaunch - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: robots.txt & disallow bei website-relaunch