Hallo,
wie kann ich die Ansätze Crawl-Budget sparen und noindex miteinander verbinden?
Ich habe auf meiner Webseite viele Belegungspläne in einem Verzeichnis domain.de/belegungen/ die nicht indexiert werden soll, daher noindex,follow haben und sich dementsprechend auch nicht im Index befinden.
Da es sich jedoch um zig Tausende Seiten handelt wäre es eigentlich schön via robots.txt Disallow dem Google Bot das Crawlen zu verbieten.
Doch dann findet er das noindex vielleicht nicht mehr und die Seiten könnten theoretisch indexiert werden oder?
Mit unseren Bewertungen verhält es sich ähnlich. Das Crawl-Budget auf die wichtigen Bereich der Webseite zu beschränken wäre daher sehr in unserem Interesse.
