wir haben aktuell das Problem, dass die Robots.txt bei Multi-Domain-Projekten - wo mehrere Domains in einem CMS verwalten werden- nicht pro Domain extra gewartet werden können. Konkret: Domain_A.com, Domain_B.com und Domain_C.com haben allesamt die identen Inhalte in der Robots.txt.
Da über die Robots.txt auch auf die jeweilige Sitemap.xml verwiesen wird, ist es nun so, dass in der Robots.txt aller Domains auch auf die Sitemaps der anderen Verwiesen wird
Code: Alles auswählen
# Sitemap
Sitemap: https://www.domain_a.com/sitemap_A.xml
Sitemap: https://www.domain_b.com/sitemap_B.xml
Sitemap: https://www.domain_c.com/sitemap_C.xml
Meine Fragen: Schaden Sitemap-Verweise, wie sie aktuell vorhanden sind? Wie wichtig schätzt ihr eine "saubere" Lösung (eine eigenständige Robots.txt pro Domain) ein?
Danke für eure Hilfe!