Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

Zwei gleiche Robots.txt mit unterschiedlichen Auswirkungen

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Lissy
PostRank 1
PostRank 1
Beiträge: 26
Registriert: 20.10.2007, 22:54

Beitrag von Lissy » 12.04.2014, 18:04

Hallo,
ich habe zwei Drupal-Installationen mit umfangreichen Webseiten (Produktkatalogen), die relativ ähnlich aufgebaut sind.

Bei beiden verwende ich die mit gelieferte robots.txt, deren Einstellungen mit auch sehr sinnvoll erscheint.

Dissallowed sind die verschiedenen Admin-Links, Registrierungsseiten und die Installations und Updates-Seiten im Hauptverzeichnis.

Bei der einen Webseite sind von über 10000 Seiten 6000 angeblich durch robots.txt blockiert (steht in den Webmaster-Tools von Google).

Bei der anderen Webseite sind 25.231 Seiten im Index und nur 1.889 Seiten geblockt.

Kann man irgendwo einsehen, wie die 6000 Seiten aussehen, die angeblich gebockt sind?

Anzeige von: