Zwei gleiche Robots.txt mit unterschiedlichen Auswirkungen
Verfasst: 12.04.2014, 18:04
Hallo,
ich habe zwei Drupal-Installationen mit umfangreichen Webseiten (Produktkatalogen), die relativ ähnlich aufgebaut sind.
Bei beiden verwende ich die mit gelieferte robots.txt, deren Einstellungen mit auch sehr sinnvoll erscheint.
Dissallowed sind die verschiedenen Admin-Links, Registrierungsseiten und die Installations und Updates-Seiten im Hauptverzeichnis.
Bei der einen Webseite sind von über 10000 Seiten 6000 angeblich durch robots.txt blockiert (steht in den Webmaster-Tools von Google).
Bei der anderen Webseite sind 25.231 Seiten im Index und nur 1.889 Seiten geblockt.
Kann man irgendwo einsehen, wie die 6000 Seiten aussehen, die angeblich gebockt sind?
ich habe zwei Drupal-Installationen mit umfangreichen Webseiten (Produktkatalogen), die relativ ähnlich aufgebaut sind.
Bei beiden verwende ich die mit gelieferte robots.txt, deren Einstellungen mit auch sehr sinnvoll erscheint.
Dissallowed sind die verschiedenen Admin-Links, Registrierungsseiten und die Installations und Updates-Seiten im Hauptverzeichnis.
Bei der einen Webseite sind von über 10000 Seiten 6000 angeblich durch robots.txt blockiert (steht in den Webmaster-Tools von Google).
Bei der anderen Webseite sind 25.231 Seiten im Index und nur 1.889 Seiten geblockt.
Kann man irgendwo einsehen, wie die 6000 Seiten aussehen, die angeblich gebockt sind?