Das offene IndexNow Protokoll beschleunigt die Indexierung

  Marcel Sarman in SEO Consulting

Beim  Website indexieren nehmen Suchmaschinen Webseiten in ihren Index auf. Diese Aufnahme ist die Voraussetzung dafür, dass die Website später in den Suchergebnissen erscheint. (Besonders bei Javascript Content kann dieser Prozess etwas aufwendiger sein. Die Javascript-Indexierung muss daher gesondert betrachtet werden.)

Suchmaschinen haben 2 Methoden Websitecontent zu indexieren:

• Pull
• Push

Bei der Pull-Methode besucht der Suchmaschinen-Crawler die Website und stellt dann eventuelle Änderungen fest. Dafür muss die Seite gecrawlt und  die Sitemap eingelesen werden. Wie oft  die Seite gecrawlt wird, hängt von mehreren Faktoren (z.B. der Verlinkung) ab. Unter Umständen vergehen so mehrere Tage bis eine neue Seite im Index erscheint.

Bei der Push-Methode erhält die Suchmaschine eine Nachricht über Veröffentlichungen oder Änderungen und besucht dann die betreffenden URLs der Website. Websitebetreiber beschleunigen so den Indexierungsprozess, die Wartezeit auf den nächsten Crawler-Besuch entfällt.

Das von Microsoft (Bing) und Yandex entwickelte quelloffene IndexNow Protokoll zur schnelleren Website Indexierung basiert auf dieser Push-Methode. Die beiden teilnehmenden Suchmaschinen erhalten bei korrekter Einbindung eine Nachricht über die veränderten oder neu hinzugekommenen Seiten. Alle anderen Suchmaschinen sind zur Teilnahme eingeladen.

Im Moment gibt es bei der Google Indexierung noch keine Unterstützung des IndexNow Protokolls. Google prüft aber, ob eine Implementierung erfolgt.

Suchmaschinen müssen mit IndexNow Websites nicht mehr selbständig auf  Veränderungen prüfen. Sie erhalten eine direkte Nachricht. Somit erspart diese Methode den Suchmaschinen Arbeit und verbessert die User-Zufriedenheit durch schnelles Website indexieren. Das häufige,  oft ergebnislose, Crawlen von Websites reduziert sich bei dieser Methode erheblich. Die durch die Bots enstehende Serverlast sinkt.

Wie übermittle ich mit IndexNow neue oder veränderte Seiten?

Durch eine API teilen Sie Yandex und Bing mit, dass sich neue Inhalte auf Ihrer Website befinden.
Dazu generieren Sie im ersten Schritt auf bing.com den API-Key.

Diesen Key (beispielsweise: 32131235434344abcdefwea1420fc7895fcba) speichern Sie in einer .txt-Datei und laden diese in das Root-Verzeichnis Ihrer Website.

Anschließend senden Sie die URL mit dem Key
https://www.bing.com/indexnow?url&key=32131235434344abcdefwea1420fc7895fcba
an Bing. Andere Suchmaschinen wie Yandex müssen einzeln benachrichtigt werden. Es ist auch möglich mehrere URLs gleichzeitig zu übermitteln und Parameter zu verändern. Für mehr Infos lesen Sie bitte die offizielle Dokumentation.

Die Seite wird nun gecrawlt und wenn sie den Qualitätskriterien genügt, in den Index aufgenommen.

Für WordPress gibt es mittlerweile ein IndexNow Plugin, das die Einbindung erleichtert. Andere Content-Management-Systeme ziehen vermutlich bald nach.  Auch das CDN (Content Delivery Network) Cloudfare unterstützt IndexNow.

Fazit zu IndexNow

Google hat seinen Crawling-Mechanismus immer mehr verfeinert. Der Googlebot unterstützt mittlerweile HTTP/2 in mehr als der Hälfte aller Crawls. Sodass auch ohne IndexNow in den letzten Jahren Crawlingressourcen gespart wurden. Crawl Budget Optimierung ist schon seit einiger Zeit in aller Munde. Trotzdem überlegt Google, IndexNow zu unterstützen. Das zeigt, dass in Sachen Crawling bzw. Indexierung noch Optimierungsbedarf besteht. IndexNow ist eine effektive Alternative für User, die ihre Website indexieren lassen wollen, ohne lange auf die Aufnahme in den Index warten zu müssen.

Google Indexierung in der Google Search Console

Für eine schnelle Google Indexierung gibt es noch eine Alternative zum IndexNow Protokoll. Gehen Sie in der Google Search Console auf URL Prüfung und reichen Sie Ihre veränderte oder neue URL ein. Nach erfolgreicher Qualitätsprüfung erfolgt dann die Indexierung.

Exkurs: Was ist Crawling? Wie sperre ich Crawler?

Crawler besuchen in regelmäßigen Abständen vorhandene Websites und verfolgen die internen bzw. externen Links. So gelangen sie zu neuen Seiten. Diese Robots oder Spider funktionieren automatisch. Den ausgelesenen Content speichern sie im Cache und indexieren ihn. Der Suchmaschinen-Algorithmus legt dabei das Ranking der im Index vorhandenen Seiten auf den Suchergebnisseiten (SERPs) fest.

Die Bots der Suchmaschinen unterscheiden sich in ihren IPs. Google hat vor einiger Zeit eine Liste mit den IPs der Googlebots veröffentlicht. Hieran können Sie erkennen, ob Ihre Seite von einem Googlebot oder Spambot besucht wurde. Sie können jetzt die Spider/Robots sperren, die nur vorgeben Googlebots zu sein. So senken Sie die Serverlast und verbessern die Performance Ihrer Website. Diese Spambots erzeugen keinen Index. Sie filtern Ihre Seite beispielsweise nach Emailadressen.

Zum Aussperren der unerwünschten Spider bietet sich die robots.txt an. Hier notieren Sie

User-agent: Spambot
Disallow: /

Diese Methode funktioniert allerdings nur, wenn die Bad Bots sich an die Richtlinie in der robots.txt halten. Sperren Sie deshalb unliebsame Besucher mit Ihrer .htaccess aus:

order allow, deny
  deny from 9.8.7.6
  deny from 5.4.3.2
allow from all

Nach deny from ergänzen Sie die nicht erwünschten IPs, schon haben die unerwünschten Spambots keinen Zugriff mehr auf Ihre Seite.

Sollte dies alles nicht ausreichen, gibt es noch die Möglichkeit, IP-Adressen mit dem Netzwerktool iptables zu sperren.

Behalten Sie wichtigsten Kennzahlen Ihrer Website im Blick, überprüfen bzw. beschleunigen Sie die Indexierung Ihrer Inhalte und sperren Sie Spambots konsequent aus.

Über Marcel Sarman

SEO OffPage & Webentwicklung

Marcel Sarman ist bei ABAKUS für den nationalen und internationalen Basislinkaufbau zuständig. Außerdem betreut er die ABAKUS Website und entwickelt sie weiter. Er kennt sich also nicht nur bestens mit Webkatalogen und Foren aus, sondern ist unser Experte für HTML5, CSS3 und WordPress.
Alle Artikel von: Marcel Sarman