Auch genannt: Indexierung, Suchindex
Suchmaschinenindexierung ist der Verarbeitungsschritt, durch den eine Suchmaschine Informationen aus bereits entdeckten und abgerufenen Webseiten so aufbereitet, dass sie bei passenden Suchanfragen berücksichtigt werden können. Sie ist damit nicht dasselbe wie das bloße Veröffentlichen einer Seite, nicht dasselbe wie ein Besuch durch einen Crawler und auch nicht gleichbedeutend mit einer guten Position in den Ergebnissen. Google beschreibt seine Suche als weitgehend automatisiert: Programme durchsuchen das Web fortlaufend nach Seiten, die dem Index hinzugefügt werden können. Eine Garantie, dass eine bestimmte Seite aufgenommen oder prominent angezeigt wird, gibt es jedoch nicht.Google Search Central: SEO Starter Guide
Vereinfacht folgt die Indexierung einer Kette aus Entdeckung, Abruf, Verarbeitung und Bereitstellung für die Suche. Links von bereits bekannten Seiten sind dabei ein wichtiger Entdeckungsweg; für viele URLs kann auch eine Sitemap helfen, sie der Suchmaschine bekannt zu machen. Dass eine URL bekannt ist, bedeutet aber noch nicht, dass sie erfolgreich verarbeitet wurde oder für jede Anfrage erscheint.Google Search Central: SEO Starter Guide
Am Anfang muss eine Suchmaschine eine URL finden und abrufen können. Ein Crawler ist ein Programm, das Websites automatisch entdeckt und scannt. Beim Abruf bewertet die Suchmaschine nicht nur den sichtbaren Text isoliert: Google empfiehlt, dass der Crawler dieselben wichtigen Ressourcen wie der Browser eines durchschnittlichen Nutzers erreichen kann. Werden etwa für das Verständnis zentrale CSS- oder JavaScript-Dateien blockiert, kann das die Verarbeitung einer Seite erschweren.Google Search Central: SEO Starter Guide
Nach dem Abruf verarbeitet die Suchmaschine die zugänglichen Inhalte und Signale einer Seite. Dazu gehören in der Praxis beispielsweise Text, Überschriften, Links und die technische Auslieferung. Das Ergebnis ist kein öffentlich einsehbares Kopieren der Webseite, sondern ein Suchindex, aus dem die Suchmaschine für einzelne Anfragen passende Treffer ermitteln kann. Welche Details ein Suchsystem speichert oder wie es sie gewichtet, ist systemspezifisch und kann sich ändern. Für Betreiber ist daher die entscheidende Frage: Ist die gewünschte kanonische Seite erreichbar, verständlich und für die Indexierung zugelassen?
Robots.txt und noindex erfüllen unterschiedliche Zwecke. Eine robots.txt-Datei teilt Crawlern mit, welche URLs sie auf einer Website abrufen dürfen; Google beschreibt sie vor allem als Mittel, Crawl-Traffic zu steuern. Sie ist kein verlässlicher Weg, eine Webseite aus der Google-Suche fernzuhalten: Eine blockierte URL kann unter Umständen trotzdem über externe Verweise bekannt werden und als URL erscheinen. Wer eine Seite aus Google ausschließen will, soll stattdessen noindex einsetzen, den Zugriff schützen oder die Seite entfernen.Google Search Central: Introduction to robots.txt
Eine Suchmaschine kann nur sinnvoll verarbeiten, was sie erreichen und verstehen kann. Daher gehören eine erfolgreiche Auslieferung, zugängliche Inhalte und eine eindeutige Seitenvariante zur technischen Grundlage. Bei gleichen oder sehr ähnlichen Inhalten unter mehreren URLs wählt Google nach eigener Darstellung eine kanonische URL; ohne eigene Kanonisierung versucht das System selbst, eine passende Version zu bestimmen. Mehrere Varianten können für Nutzende verwirrend sein und Crawl-Ressourcen beanspruchen.Google Search Central: SEO Starter Guide
Auch die Qualität und der Nutzen einer Seite bleiben relevant. Eine Crawl-Anfrage oder eine Sitemap ist kein Aufnahmeauftrag. Google weist ausdrücklich darauf hin, dass die Anforderung eines erneuten Crawls weder eine sofortige Aufnahme in die Suchergebnisse noch überhaupt eine Aufnahme garantiert; die Systeme priorisieren nützliche, hochwertige Inhalte. Wiederholte Anfragen für dieselbe URL beschleunigen das Crawling nicht automatisch.Google Search Central: Ask Google to recrawl your URLs
Für die Diagnose ist eine klare Trennung hilfreich. „Nicht gefunden“ kann bedeuten, dass die URL noch nicht entdeckt wurde. „Nicht abrufbar“ weist eher auf Zugriffs- oder Serverprobleme hin. „Nicht indexiert“ betrifft die Entscheidung oder Möglichkeit, die verarbeitete Seite in den Suchindex aufzunehmen. Und „nicht sichtbar für eine bestimmte Suchanfrage“ ist ein Thema der Ergebnisermittlung und des Rankings. Diese Zustände können zusammen auftreten, sind aber nicht identisch.
Ein Unternehmen veröffentlicht eine neue Ratgeberseite zu einem Fachthema. Zunächst sollte die Seite über eine interne Navigation oder einen thematisch passenden Link erreichbar sein und unter ihrer bevorzugten URL ausliefern. Bei vielen neuen URLs kann die Sitemap zusätzlich ein Entdeckungsweg sein. Der Betreiber prüft anschließend, ob wichtige Inhalte und Ressourcen für den Crawler zugänglich sind und ob die Seite nicht versehentlich mit noindex ausgeschlossen wird.
Ändert das Unternehmen später einen wesentlichen Abschnitt, kann es in der Search Console für einzelne selbst verwaltete URLs einen erneuten Crawl anfordern. Google nennt dafür die URL-Prüfung; bei vielen URLs ist eine Sitemap der vorgesehene Weg. Das ist ein Hinweis an das System, kein Schalter für sofortige Indexierung. Die Bearbeitung kann laut Google Tage bis Wochen dauern.Google Search Central: Ask Google to recrawl your URLs
Praktisch vermeidet dieses Vorgehen zwei typische Fehlschlüsse. Erstens ersetzt eine Sitemap keine zugängliche, inhaltlich brauchbare Seite. Zweitens ist ein einzelner Crawl-Besuch kein Nachweis für eine dauerhafte Aufnahme. Die Kontrolle sollte deshalb den Status der konkreten URL, die gewählte kanonische Variante und die Sichtbarkeit der wirklich gewünschten Seite betrachten.
Crawling ist das automatische Entdecken und Abrufen von Webseiten. Google verwendet dafür Crawler und Fetcher; der allgemeine Begriff Crawler umfasst Programme, die Websites automatisch entdecken und scannen.Google: Overview of Google crawlers and fetchers Indexierung schließt daran an: Die abgerufenen Informationen werden für die Suche verarbeitet und können in den Suchindex gelangen. Eine Seite kann also gecrawlt worden sein, ohne dass daraus zwingend eine Indexierung folgt.
SEO umfasst Maßnahmen, die Suchmaschinen das Crawlen, Indexieren und Verstehen von Inhalten erleichtern können. Es ist keine Zusage für Aufnahme oder Platzierung.Google Search Central: SEO Starter Guide Ranking schließlich bezeichnet die Reihenfolge oder Auswahl von Ergebnissen für eine konkrete Anfrage. Selbst eine indexierte Seite kann für eine Suchanfrage nicht erscheinen oder hinter anderen Ergebnissen liegen. Suchmaschinenindexierung ist somit eine Voraussetzung dafür, dass eine Seite grundsätzlich berücksichtigt werden kann, aber keine Aussage über ihre Position.
Suchmaschinenindexierung ist kein Synonym für das Einreichen einer URL. Eine Sitemap oder eine Recrawl-Anfrage unterstützt die Entdeckung beziehungsweise Aktualisierung, erzwingt aber keinen Erfolg. robots.txt ist keine verlässliche Sperre gegen die Aufnahme einer HTML-Seite in Google; für einen beabsichtigten Ausschluss ist noindex die passendere Anweisung. Ranking ist nicht der Index: Der Index betrifft die Aufnahme und Bereitstellung von Informationen, das Ranking die Auswahl und Reihenfolge für eine Suchanfrage.
noindex.