Crawl Budget

Das Crawl Budget bestimmt, wie oft die relevanten Unterseiten gecrawlt werden. Qualitativ hochwertige Seiten werden, je nach Nutzerfreundlichkeit und Verfügbarkeit der Inhalte, häufiger gecrawlt. Durch Crawl Budget Optimierung ermöglichen Sie Suchmaschinen-Bots das effektive Crawling der eigenen Website.
Das Crawl Budget bezieht sich auf die Menge an Ressourcen, die ein Crawler (auch bekannt als Web-Spider oder Web-Roboter) für das Durchsuchen und Indexieren von Webseiten verwendet. Das Crawl Budget begrenzt

• die Anzahl der Anforderungen, die ein Crawler an eine bestimmte Webseite sendet
• oder die Gesamtzahl der Seiten, die er indexiert.

Das Crawl Budget ist nicht unbeschränkt. Fügen Sie deshalb nur Unterseiten hinzu, die einen Mehrwert bieten. Eine Webpräsenz mit 10.000 Unterseiten muss von der Suchmaschine aufwendig gecrawlt werden, selbst wenn am Ende nur 1.000 Seiten indexiert werden. Je größer und umfangreicher eine Webseite ist, desto schneller ist das Crawler-Budget aufgebraucht.

Crawler Budgets werden oft verwendet, um sicherzustellen, dass ein Crawler eine Webseite nicht überlastet, indem er zu viele Anforderungen sendet. Das Budget auch dazu verwendet werden, dass ein Crawler nicht unnötig viele Seiten indiziert, die für die Suchergebnisse nicht relevant sind. So sucht ein Crawler beispielsweise gezielt nach Produktseiten und nicht nach Blog-Artikeln.

Das Crawler-Budget wird
• auf Basis der IP-Adresse des Crawlers
• aufgrund des User-Agents des Crawlers
• oder durch die robots.txt-Datei
festgelegt.

Es gibt spezielle Tools, wie die Site-Crawl-Funktion in der Google Search Console, die es Webseiten-Betreibern ermöglichen, ihre Webseite vom Googlebot und anderen Suchmaschinen-Crawlern überwachen zu lassen und gegebenenfalls Einschränkungen vorzunehmen.