Hallo,
ich habe zwei Drupal-Installationen mit umfangreichen Webseiten (Produktkatalogen), die relativ ähnlich aufgebaut sind.
Bei beiden verwende ich die mit gelieferte robots.txt, deren Einstellungen mit auch sehr sinnvoll erscheint.
Dissallowed sind die verschiedenen Admin-Links, Registrierungsseiten und die Installations und Updates-Seiten im Hauptverzeichnis.
Bei der einen Webseite sind von über 10000 Seiten 6000 angeblich durch robots.txt blockiert (steht in den Webmaster-Tools von Google).
Bei der anderen Webseite sind 25.231 Seiten im Index und nur 1.889 Seiten geblockt.
Kann man irgendwo einsehen, wie die 6000 Seiten aussehen, die angeblich gebockt sind?
