Google-Indexierung: Die Grundlage für gute Rankings
Der Index bildet die Basis jeder Suchmaschine. Websites kommen in den Index, wenn Crawler die entsprechenden Seiten indexieren, also einlesen. Die Crawler der Suchmaschinen durchsuchen das Internet und verfolgen die Links. Sie springen so von Seite zu Seite. Google indexiert Websites mit dem Googlebot, dem Google eigenen Crawler (Webspider).
Beim Crawling durchsucht Google das Web nach Inhalten zur Indexierung. Aus dem Index ermittelt Google das Ranking. Beachten Sie: Bei einer Suchanfrage durchsucht Google nicht das Web, sondern nur den Google Index. Ist Ihre Seite nicht im Index vorhanden, können User die Seite über Google auch nicht finden.
Google hat es, trotz besserer Technik, immer schwerer die enorme Menge an Websites zu crawlen. Momentan sind fast 202 Millionen Websites aktiv online. Insgesamt gibt es 1,1 Milliarden Websites, von denen allerdings nur 18 Prozent aktiv sind. Täglich kommen weitere 252.000 dazu. KI-Textgeneratoren beschleunigen diese Entwicklung. Durch mehr schnell aufgesetzte Websites mit minderwertigen Texten steigt der Crawling-Aufwand für den Googlebot. Google muss mit den enormen Datenmengen zurechtkommen, dadurch dauert die Indexierung neuer URLs unter Umständen etwas länger bzw. die Voraussetzungen für die Aufnahme in den Suchindex steigen.
Inhalt
Wie speichert Google?
Google nutzt ein abgestuftes System (tiered system) zur Speicherung der indexierten Inhalte. Je nach Wichtigkeit kommen dabei unterschiedliche Speicher zum Einsatz.
In Googles Search Off the Record Podcast erklärte Gary Illyes, dass Google auf drei Arten speichert:
- HDD (Hard Disk Drive): Günstige und langsame Speichervariante.
- SSD (Solid State Drive): Sehr schnelle, aber etwas teurere Methode.
- RAM (Random Access Memory): Die schnellste und teuerste Speichermethode. Dokumente, die regelmäßig in den Suchergebnissen erscheinen, speichert Google direkt im Arbeitsspeicher (RAM).
Google schätzt ab, wie häufig das jeweilige Dokument in den Suchergebnisse erscheint und speichert es dementsprechend ab.
Diese Abstufung verdeutlicht: Google unternimmt einiges, um die gewaltigen Datenmengen sinnvoll abzuspeichern. Inhalte, die häufiger in den Suchergebnissen erscheinen, speichert Google dabei auf schnelleren Speichermedien.
Der Google Index besteht aus 30 bis 50 Milliarden Seiten und enthält eine Datenmenge von 100.000.000 GB. Jede Sekunde muss Google 40.000 Suchanfragen verarbeiten.
Anzahl der indexierten Seiten ermitteln
Führen Sie eine Site-Abfrage für Ihre Website durch und ermittelten Sie die Anzahl der indexierten Unterseiten.
site:www.meinedomain.de
Nutzen Sie die diese Abfrage und lassen Sie sich die zu einer Domain gehörigen indexierten Unterseiten auflisten. Weicht dieses Ergebnis von den tatsächlich existierenden Seiten ab, sollten Sie die Gründe für diese Differenz untersuchen.
Auch in der Google Search Console haben Sie die Möglichkeit, die Anzahl der indexierten Seiten zu überprüfen. Unter Indexierung-Seiten finden Sie eine Übersicht Ihrer indexierten bzw. nicht indexierten Seiten. Klicken Sie auf nicht indexiert, dann sehen Sie eine Auflistung aller Seiten und die Gründe, warum bestimmte Seiten im Index fehlen. Klicken Sie auf die jeweiligen Begründungen, um die betroffenen Seiten zu sehen. Über die Eingabe ganz oben reichen Sie eine URL zur erneuten Überprüfung ein.
Warum ist eine Seite nicht indexiert?
Eine Website kann aus vielen Gründen nicht im Index vorhanden sein.
- Am häufigsten sind inhaltliche Gründe ausschlaggebend: Die Seite verfügt über zu wenig oder keinen einzigartigen Content. Google entscheidet dann, dass die Website den Usern keinen Mehrwert bietet. Folglich erscheint die Seite nicht in den Suchergebnissen und fehlt im Index. Setzen Sie sich also von Ihren Mitbewerbern ab und schaffen Sie einzigartigen Content. Ein bloße Umformulierung schon vorhandener Inhalte genügt dabei nicht.
- Die Seite ist intern und extern nicht verlinkt. Crawler erreichen die Seite nicht. Sorgen Sie daher unbedingt für ausreichende Verlinkung.
- Ist die Website nicht erreichbar, dann indexiert Google Ihre Seite nicht. Checken Sie Ihre Serverkonfiguration und sorgen Sie für ständige Erreichbarkeit Ihrer Webpräsenz.
- Die URL fehlt in der Sitemap. Infolgedessen schätzt der Googlebot die Unterseite als wenig wichtig ein. Eine in der Sitemap vorhandene URL erleichtert den Bots das Finden der Seite und verdeutlicht die Bedeutung der URL für die gesamte Webpräsenz.
- Technische Gründe:
- Die URL ist durch die robots.txt oder durch den noindex Tag von der Indexierung ausgeschlossen.
- Der canonical-Tag verweist auf eine andere Seite und gibt den Bots dadurch den Hinweis, dass nur die andere Seite für den Index bestimmt ist.
- Das Rendern der Seite schlägt fehl. Aus technischen Gründen erkennt Google den Inhalt Ihrer Website nicht. Sorgen Sie daher für korrekten HTML Quellcode und setzen Sie Javascript suchmaschinenfreundlich ein. Bei einer inhaltlich minderwertigen Seite macht Google sich nicht die Mühe, durch Javascript versteckte Inhalte zu rendern.
Einige Experten vermuten, dass Google bei Domains, die bereits als Autoritäten in einem Fachbereich gelten, neue Seiten schneller indexiert. Bei anderen Seiten wartet Google das Nutzerverhalten ab, bevor eine Indexierung erfolgt. Im Klartext: Seiten mit einer sehr hohen Absprungrate kommen nicht in den Index, weil sie für die User offensichtlich uninteressant sind.
Google kommuniziert mittlerweile ganz klar, dass viele Seiten keine technischen Fehler aufweisen, aber trotzdem nicht in den Index kommen. Die inhaltlichen Ansprüche sind gestiegen, die Vielzahl neuer Websites lässt Googles keine andere Wahl: Neue Inhalte müssen für die User relevant sein, um überhaupt in den Google Index zu kommen. Google will so viel Content wie möglich indexieren, muss dabei aber auch die Relevanz berücksichtigen.
Müssen alle Unterseiten indexiert sein?
Eine Indexierungsquote von 100 Prozent ist nicht erforderlich. Es kann sogar von Vorteil sein, wenn einige (unwichtige) Unterseiten nicht indexiert sind. Google muss dann weniger Aufwand betreiben, um die Seite zu crawlen und die wichtigen Inhalte erfahren eine Aufwertung.
Das Entfernen von Seiten aus dem Suchindex ermöglicht unter Umständen eine Steigerung des Traffics. Verschiedene Gründe sprechen dafür, die Indexierung einer Seite zu verhindern.
Zwei Beispiele:
- Vermeiden Sie Duplicate Content und nehmen Sie doppelte Seiten aus dem Index. Deindexieren Sie beispielsweise die Druckversion und belassen Sie die Webversion im Index.
- Nehmen Sie Ihre Danke-Seite aus dem Index, um zu verhindern, dass User über Google zu dieser Website gelangen.
Allgemeiner formuliert sollten Sie folgende Seiten nicht indexieren lassen:
- nicht für die Öffentlichkeit bestimmte Seiten
- Seiten, die nur nach einer Konversion erreicht werden können
- veraltete Seiten
- Suchergebnisseiten der interne Suche und Kategorieseiten (enthalten meist nur Duplicate Content und sollten daher deindexiert werden).
Nicht zuletzt durch die Möglichkeit viel neuen Content durch KI-Textgeneratoren wie ChatGPT zu erstellen, rückt das Crawl-Budget in den Fokus. Allein deshalb scheint es logisch, dass Google weniger neue Seiten in den Index aufnimmt. Alle Unterseiten in den Index zu bekommen, ist somit weder sinnvoll noch möglich. Google muss mit seine Ressourcen haushalten und hat pro Seite ein Crawl-Budget. Qualitativ minderwertige und fehlerhafte Seiten crawlt der Googlebot seltener. Stellt der Googlebot nach mehrmaligem crawlen fest, dass die Mehrzahl des vorhandenen Content nicht hochwertig ist, wird er die Website in Zukunft seltener besuchen und auch weniger Unterseiten crawlen. Nutzen Sie das Crawl-Budget sinnvoll aus und erleichtern Sie dem Googlebot durch das Deindexieren bestimmter Seiten die Arbeit. Haben Sie viele Seiten mit minderwertigem Content, senkt der Googlebot beim nächsten Besuch das Crawling Budget und indexiert weniger Seiten.
Fazit
Schließen Sie die nicht für den Index bestimmten Seiten von der Indexierung aus. Legen Sie Seiten zusammen oder löschen Sie veraltete Inhalte. So haben Sie zwar weniger Seiten im Index, steigern aber unter Umständen die Rankings Ihrer weiterhin indexierten Seiten. Veröffentlichen Sie einzigartige Inhalte und beachten Sie die technischen Feinheiten. Die richtige Mischung aus nicht indexierten und indexierten Seiten sorgt für Ihren Erfolg.
Anzeige
Über Marcel Sarman
IT-AbteilungMarcel Sarman betreut die ABAKUS Website und entwickelt sie weiter. Er ist unser Experte für HTML5, CSS3 und WordPress und schreibt Beiträge für unsere Seite.
Alle Artikel von: Marcel Sarman
