Das offene IndexNow Protokoll beschleunigt die Indexierung

Marcel Sarman  Marcel Sarman in OnSite SEO am 14. Dezember 2021

Suchmaschinen haben 2 Methoden Websitecontent zu indexieren:

  • Pull
  • Push

Bei der Pull-Methode besucht der Suchmaschinen-Crawler die Website und stellt dann eventuelle Änderungen fest. Dafür muss die Seite gecrawlt und  die Sitemap eingelesen werden. Wie oft  die Seite gecrawlt wird, hängt von mehreren Faktoren (z.B. der Verlinkung) ab. Unter Umständen vergehen so mehrere Tage bis eine neue Seite im Index erscheint.

Bei der Push-Methode erhält die Suchmaschine eine Nachricht über Veröffentlichungen oder Änderungen und besucht dann die betreffenden URLs der Website. Websitebetreiber beschleunigen so den Indexierungsprozess, die Wartezeit auf den nächsten Crawlerbesuch entfällt.

Push oder Pull Indexierung

Das von Microsoft (Bing) und Yandex entwickelte quelloffene IndexNow Protokoll basiert auf dieser Push-Methode. Die beiden teilnehmende Suchmaschinen erhalten bei korrekter Einbindung eine Nachricht über die veränderten oder neu hinzugekommenen Seiten. Alle anderen Suchmaschinen sind zur Teilnahme eingeladen.

Im Moment gibt es bei Google noch keine Unterstützung des IndexNow Protokolls. Google prüft aber, ob eine Implementierung erfolgt.

Suchmaschinen müssen mit IndexNow Websites nicht mehr selbstständig auf  Veränderungen prüfen. Sie erhalten eine direkte Nachricht. Somit erspart diese Methode den Suchmaschinen Arbeit und verbessert durch schnelle Indexierung die Userzufriedenheit. Das häufige,  oft ergebnislose, Crawlen von Websites reduziert sich bei dieser Methode erheblich. Die durch die Bots enstehende Serverlast sinkt.

Wie übermittle ich mit IndexNow neue oder veränderte Seiten?

Durch eine API teilen Sie Yandex und Bing mit, dass sich neue Inhalte auf Ihrer Website befinden.
Dazu generieren Sie im ersten Schritt auf bing.com den API-Key.

Diesen Key (beispielsweise: 32131235434344abcdefwea1420fc7895fcba) speichern Sie in einer .txt-Datei und laden diese in das Root-Verzeichnis Ihrer Website.

Anschließend senden Sie die URL mit dem Key
https://www.bing.com/indexnow?url&key=32131235434344abcdefwea1420fc7895fcba
an Bing. Andere Suchmaschinen wie Yandex müssen einzeln benachrichtigt werden. Es ist auch möglich mehrere URLs gleichzeitig zu übermitteln und Parameter zu verändern. Für mehr Infos lesen Sie bitte die offizielle Dokumentation.

Die Seite wird nun gecrawlt und wenn sie den Qualitätskriterien genügt, in den Index aufgenommen.

Push oder Pull Indexierung

Für WordPress gibt es mittlerweile ein IndexNow Plugin, das die Einbindung erleichtert. Andere Content-Management-Systeme ziehen vermutlich bald nach.  Auch das CDN (Content Delivery Network) Cloudfare unterstützt IndexNow.

Fazit zu IndexNow

Google hat seinen Crawling-Mechanismus immer mehr verfeinert. Der Googlebot unterstützt mittlerweile HTTP/2 in mehr als der Hälfte aller Crawls. Sodass auch ohne IndexNow in den letzten Jahren Crawlingressourcen gespart wurden. Crawl Budget Optimierung ist schon seit einiger Zeit in aller Munde. Trotzdem überlegt Google, IndexNow zu unterstützen. Das zeigt, dass in Sachen Crawling bzw. Indexierung noch Optimierungsbedarf besteht. IndexNow ist eine effektive Alternative für User, die eine schnelle Indexierung ihrer Inhalte wünschen.

Exkurs: Was ist Crawling? Wie sperre ich Crawler?

Crawler besuchen in regelmäßigen Abständen vorhandene Websites und verfolgen die internen bzw. externen Links. So gelangen sie zu neuen Seiten. Diese Robots oder Spider funktionieren automatisch. Den ausgelesenen Content speichern sie im Cache und indexieren ihn. Der Suchmaschinen-Algorithmus legt dabei das Ranking der im Index vorhandenen Seiten auf den Suchergebnisseiten (SERPs) fest.

Die Bots der Suchmaschinen unterscheiden sich in ihren IPs. Google hat vor einiger Zeit eine Liste mit den IPs der Googlebots veröffentlicht. Hieran können Sie erkennen, ob Ihre Seite von einem Googlebot oder Spambot besucht wurde. Sie können jetzt die Spider/Robots sperren, die nur vorgeben Googlebots zu sein. So senken Sie die Serverlast und verbessern die Performance Ihrer Website. Diese Spambots erzeugen keinen Index. Sie filtern Ihre Seite beispielsweise nach Emailadressen.

Zum Aussperren der unerwünschten Spider bietet sich die robots.txt an. Hier notieren Sie

User-agent: Spambot
Disallow: /

Diese Methode funktioniert allerdings nur, wenn die Bad Bots sich an die Richtlinie in der robots.txt halten. Sperren Sie deshalb unliebsame Besucher mit Ihrer .htaccess aus:

order allow, deny
  deny from 9.8.7.6
  deny from 5.4.3.2
allow from all

Nach deny from ergänzen Sie die nicht erwünschten IPs, schon haben die unerwünschten Spambots keinen Zugriff mehr auf Ihre Seite.

Sollte dies alles nicht ausreichen, gibt es noch die Möglichkeit, IP-Adressen mit dem Netzwerktool iptables zu sperren.

Spambots sperren

Behalten Sie wichtigsten Kennzahlen Ihrer Website im Blick, überprüfen bzw. beschleunigen Sie die Indexierung Ihrer Inhalte und sperren Sie Spambots konsequent aus.




Beitrag kommentieren

EINE ANTWORT HINTERLASSEN

Dein Kommentar wird vor der Freischaltung von einem Admin moderiert.



Marcel Sarman

Über Marcel Sarman

IT-Abteilung

Marcel Sarman betreut die ABAKUS Website und entwickelt sie weiter. Er ist unser Experte für HTML5, CSS3 und WordPress und schreibt Beiträge für unsere Seite.
Alle Artikel von:

Verwandte Beiträge

Page Experience Update von Google: Core Web Vitals und die Lösung

Core Web Vitals: Messwerte und Lösungsansätze Das Page Experience Update, welches für Mai 2021 von Google angekündigt wurde, dreht sich um die sog. Core Web Vitals (CWV). Was wird bei den Core Web Vitals gemessen? Wir konzentrieren uns auf die drei Werte „Largest Contentful Paint“ (LCP), „Cumulative Layout Shift“ (CLS) und „First Input Delay„ (FID).

> WEITERLESEN …

 
NEU: Googles Core Web Vitals als Kennzahl für die Page Experience

Google selbst hat es angekündigt, ab 2021 (genauer Monat noch nicht bekannt) wird es einen neuen Rankingfaktor zur Ermittlung der Suchergebnisse geben: die Page Experience! Was ist die Page Experience? Die Page Experience ist eine Zusammenfassung unterschiedlicher Ladezeitmetriken von Google (die sogenannten „Core Web Vitals“), kombiniert mit der Mobilfreundlichkeit, dem sicheren Website Browsing, der HTTPS

> WEITERLESEN …

 
Onlineshop Optimierung

Als Unternehmer mit eigenem Online Shop hat man verschiedene Möglichkeiten die Performance des Shops durch Optimierung zu verbessern. Nennen wir das Oberthema Markenbildung. Was macht starke Marken aus? Qualität, Zuverlässigkeit, Beständigkeit, Sicherheit. Marken, die dem User das bieten können, brauchen kein riesiges Marketing Budget. Ladezeit-Optimierung Die Ladezeit wird immer wichtiger. Vor allem auf Smartphones muss

> WEITERLESEN …

 
HTTP Status Codes – SEO Relevanz & Tipps

HTTP Status Codes spielen in der Suchmaschinenoptimierung eine wichtige Rolle. Sie liefern Informationen über die Erreichbarkeit der einzelnen Webseiten und/oder informieren über deren „Umzug“. So ist es auch kein Wunder, dass die Kontrollen der HTTP Status Codes mit Hilfe von Tools zum festen Bestandteil von Website Status-Analysen gehören und gerade in Relaunchprozessen von entscheidender Bedeutung

> WEITERLESEN …