Wie Suchmaschinen funktionieren: Crawling, Indexierung und Ranking erklärt

Bei jeder Suche wählt eine Suchmaschine aus Hunderten Milliarden Seiten eine Handvoll aus und bringt sie in Sekundenbruchteilen in eine Reihenfolge. Das gelingt, weil der Großteil der Arbeit lange vor Ihrer Eingabe erledigt wurde.

Diese Arbeit läuft in vier Phasen ab: Crawling, Rendering, Indexierung und Ranking. Sie zu verstehen ist die Grundlage von SEO, denn in jeder Phase können Ihre Seiten erfolgreich sein – oder unbemerkt scheitern.

Phase 1: Crawling – Seiten entdecken

Suchmaschinen nutzen automatische Programme, sogenannte Crawler (bei Google Googlebot, bei Microsoft Bingbot), um Webseiten abzurufen. Crawler entdecken neue URLs auf drei Hauptwegen:

• Durch Folgen von Links auf bereits bekannten Seiten
• Durch Auslesen von XML-Sitemaps, die Website-Betreiber einreichen
• Durch URL-Einreichungen, etwa über die Google Search Console oder das von Bing und anderen unterstützte IndexNow-Protokoll

Crawler besuchen nicht jede Seite täglich. Wie oft sie zurückkehren, entscheiden sie danach, wie wichtig eine Website wirkt, wie häufig sie sich ändert und wie schnell der Server antwortet. Sehr große Websites müssen sich mit dem Crawl-Budget befassen – der Anzahl an URLs, die eine Suchmaschine in einem Zeitraum crawlen will und kann –, für die meisten Websites mit einigen tausend Seiten spielt es jedoch keine Rolle.

Was das Crawling verhindern kann

• robots.txt-Regeln, die einen Bereich oder die ganze Website sperren
• Serverfehler (5xx) und Timeouts, die Crawler bremsen
• Verwaiste Seiten, auf die nichts verlinkt
• Links, die keine echten Links sind, etwa eine Navigation, die nur aus JavaScript-Klick-Handlern besteht

Phase 2: Rendering – die Seite wie ein Browser sehen

Viele moderne Seiten werden mit JavaScript aufgebaut. Das vom Server gesendete HTML kann fast leer sein, der Inhalt wird erst im Browser ergänzt. Um diesen Inhalt zu sehen, schickt Google Seiten durch eine Headless-Version von Chrome – den Web Rendering Service.

Rendering kostet zusätzliche Ressourcen und kann daher später als das erste Crawling erfolgen. Inhalte, die erst nach Ausführung von JavaScript erscheinen, werden deshalb womöglich langsamer indexiert, und Skriptfehler können sie ganz verbergen. Die meisten KI-Crawler und viele andere Bots führen überhaupt kein JavaScript aus.

Am sichersten ist es, Hauptinhalt, Links, Titel, Meta-Description und Canonical-Tag im initialen HTML auszuliefern – genau das leisten serverseitiges Rendering und statische Generierung.

Phase 3: Indexierung – Seiten verstehen und speichern

Nach dem Abrufen (und bei Bedarf Rendern) analysiert die Suchmaschine die Seite: Text, Überschriften, Bilder, Links, strukturierte Daten und Metadaten. Sie ermittelt, worum es geht, in welcher Sprache die Seite ist, welche anderen Seiten sie dupliziert und ob sie es wert ist, gespeichert zu werden.

Indexierung ist selektiv. Google indexiert nicht jede gecrawlte Seite. Seiten können ausgeschlossen werden, weil sie:

• Per noindex-Anweisung darum bitten, nicht indexiert zu werden
• Eine andere Seite duplizieren – dann wählt Google eine kanonische Version zur Indexierung
• Wenig Mehrwert bieten, etwa fast leere Seiten oder automatisch generierte Inhalte
• Fehler oder Weiterleitungen liefern

Welche Ihrer Seiten indexiert sind und warum andere nicht, sehen Sie im Bericht Seitenindexierung der Google Search Console.

Kanonisierung

Derselbe Inhalt ist oft unter mehreren URLs erreichbar: mit und ohne www, mit Tracking-Parametern, mit unterschiedlichen Sortierungen. Suchmaschinen fassen diese Duplikate zusammen und wählen eine kanonische URL für die Suchergebnisse. Sie können diese Wahl über Weiterleitungen, rel="canonical"-Tags, konsistente interne Links und Ihre Sitemap beeinflussen.

Phase 4: Ranking – Ergebnisse auswählen und ordnen

Bei einer Suche sucht die Suchmaschine passende Seiten im Index und ordnet sie anhand vieler Signale. Google hat die groben Faktoren beschrieben, die es berücksichtigt:

• Bedeutung der Suchanfrage – was die suchende Person wirklich wissen will, einschließlich Rechtschreibkorrektur, Synonymen und Suchintention
• Relevanz – wie gut der Inhalt einer Seite zu dieser Bedeutung passt
• Qualität – Anzeichen dafür, dass Inhalte hilfreich und zuverlässig sind und Expertise, Erfahrung, Autorität und Vertrauenswürdigkeit zeigen
• Nutzerfreundlichkeit – Page-Experience-Faktoren wie Mobilfreundlichkeit, HTTPS und Core Web Vitals
• Kontext – Standort, Sprache und Einstellungen der suchenden Person

Links von anderen Websites bleiben ein wichtiges Autoritätssignal und helfen Suchmaschinen, Seiten zu entdecken und zu verstehen. Kein einzelner Faktor entscheidet über Rankings; Relevanz und Nützlichkeit stehen an erster Stelle.

Suchergebnisse sind mehr als zehn blaue Links

Ergebnisseiten enthalten heute Featured Snippets, Bild- und Videoergebnisse, lokale Kartenpakete, „Ähnliche Fragen“-Boxen, Shopping-Ergebnisse und KI-generierte Übersichten. Jedes Element greift auf etwas andere Weise auf den Index zu. Strukturierte Daten können Seiten für bestimmte Rich Results qualifizieren, und klare, gut strukturierte Inhalte werden eher in Snippets und KI-Antworten zitiert.

Wo KI-Suche ins Bild passt

KI-Sucherlebnisse wie Googles AI Overviews und AI Mode, die ChatGPT-Suche und Perplexity sind weiterhin darauf angewiesen, Webseiten zu finden und zu lesen. Googles KI-Funktionen greifen auf den regulären Suchindex zurück, die Grundlagen sind also dieselben: Eine Seite muss crawlbar, indexierbar und für Snippets freigegeben sein, um genutzt zu werden. Andere KI-Suchmaschinen betreiben eigene Crawler – etwa OAI-SearchBot und PerplexityBot –, die Sie in der robots.txt erlauben oder sperren können.

Was Sie in jeder Phase steuern

Ein schneller Gesundheitscheck

1. Suchen Sie bei Google nach site:yourdomain.com, um grob zu sehen, wie viele Seiten indexiert sind (die Zahl ist eine Schätzung).
2. Öffnen Sie den Bericht zur Seitenindexierung in der Search Console und prüfen Sie, warum Seiten nicht indexiert sind.
3. Prüfen Sie Ihre wichtigste Seite per Audit auf Crawling-, Indexierungs- und On-Page-Probleme.

Crawl-Budget: wann es zählt und wie Sie es steuern

Bei den meisten Websites crawlt Google alles Wichtige ohne Hilfe. Zum echten Thema wird das Crawl-Budget bei Websites mit Zehntausenden URLs oder mehr – großen Onlineshops, Marktplätzen, Kleinanzeigen- und Nachrichtenportalen – oder bei Websites mit langsamen Servern.

Zwei Dinge bestimmen, wie viel eine Suchmaschine crawlt:

• Crawl-Kapazität – wie viele Anfragen Ihr Server ohne Verlangsamung bewältigt. Werden Antworten langsam oder fehlerhaft, fährt Googlebot zurück.
• Crawl-Bedarf – wie viel Google crawlen möchte, abhängig davon, wie beliebt Ihre Seiten sind und wie oft sie aktualisiert werden.

Am häufigsten wird Crawl-Budget verschwendet, indem riesige Mengen wertarmer URLs entstehen: Facettennavigation mit einer URL für jede Filterkombination, Session-IDs in URLs, endlose Kalenderseiten, interne Suchergebnisse und Infinite Scroll ohne paginierte URLs. Jede dieser Quellen kann Tausende nahezu doppelte Seiten erzeugen, die Crawler pflichtbewusst abrufen.

So bleibt das Crawling fokussiert:

1. Sperren Sie Crawl-Fallen wie Sortier- und Filterparameter in der robots.txt, wenn sie keinen eigenen Mehrwert bieten
2. Verlinken Sie keine URLs, die nicht gecrawlt werden sollen
3. Beschränken Sie Ihre Sitemap auf kanonische, indexierbare URLs
4. Beheben Sie Weiterleitungsketten und defekte Links, die Anfragen verschwenden
5. Verbessern Sie die Serverantwortzeit – eine schnellere Website kann mehr gecrawlt werden

Was Logdateien verraten

Server-Logdateien protokollieren jede Anfrage an Ihre Website, auch die von Suchmaschinen-Crawlern. Ihre Analyse zeigt, welche Seiten Googlebot tatsächlich besucht, wie oft und welche Statuscodes er erhält. Logfile-Analyse ist die einzige Möglichkeit, das Crawling so zu sehen, wie es wirklich passiert, statt wie Tools es schätzen. Bei cPanel-Hosting finden Sie die Rohzugriffsprotokolle meist unter „Raw Access“ oder „Metrics“. Prüfen Sie, ob Anfragen, die sich als Googlebot ausgeben, wirklich von Google stammen – Bots fälschen häufig den User-Agent. Google veröffentlicht die IP-Bereiche seiner Crawler.

Mobile-First-Indexierung

Google verwendet inzwischen überwiegend die mobile Version von Seiten zum Crawlen und Indexieren; Googlebot Smartphone ist der Haupt-Crawler. Zeigt Ihre mobile Website weniger Inhalt, weniger Links, andere strukturierte Daten oder fehlende Bilder als die Desktop-Version, sieht Google das Fehlende womöglich nie. Responsive Design – dasselbe HTML für alle Geräte, per CSS angepasst – vermeidet das Problem vollständig.

Ein Praxisbeispiel

Angenommen, ein neuer Rezeptblog veröffentlicht einen Beitrag über Sauerteigbrot. Das passiert:

1. Die Startseite des Blogs, die Googlebot regelmäßig besucht, verlinkt nun auf den neuen Beitrag. Die Sitemap führt ihn ebenfalls mit einem aktuellen lastmod-Datum.
2. Googlebot entdeckt die URL und fügt sie seiner Crawl-Warteschlange hinzu. Da der Blog neu ist, kann das ein bis zwei Tage dauern.
3. Googlebot ruft die Seite ab. Das Rezept steht im HTML, es gibt also keine Rendering-Verzögerung.
4. Google indexiert die Seite, erfasst die strukturierten Recipe-Daten, die Zutaten und den Autor und erkennt sie als englischsprachiges Rezept für Sauerteigbrot.
5. Sucht jemand nach „einfaches Sauerteigrezept für Anfänger“, vergleicht Google den Beitrag mit Tausenden anderen und rankt ihn nach Relevanz, Qualitätssignalen, Reputation der Website und Kontext der suchenden Person.

Jeder Schritt bietet Raum für Verbesserungen: schnellere Entdeckung durch interne Links, schnellere Indexierung durch serverseitig gerenderte Inhalte, besseres Verständnis durch strukturierte Daten und bessere Rankings durch wirklich hilfreiche Inhalte.

Das Wichtigste in Kürze

• Suchmaschinen arbeiten in vier Phasen: Crawling, Rendering, Indexierung und Ranking – eine Seite kann in jeder davon scheitern.
• Crawler finden Seiten über Links, Sitemaps und Einreichungen; die robots.txt steuert, wohin sie dürfen.
• Inhalte, die JavaScript zum Erscheinen brauchen, indexiert Google langsamer, und für die meisten KI-Crawler sind sie unsichtbar.
• Indexierung ist selektiv: Duplikate werden zu einer kanonischen URL zusammengefasst, wertarme Seiten können wegfallen.
• Das Ranking gewichtet Relevanz, Qualität, Nutzerfreundlichkeit und Kontext; Links bleiben ein wichtiges Autoritätssignal.
• KI-Suchfunktionen beruhen auf denselben Grundlagen – eine Seite muss crawlbar, indexierbar und für Snippets freigegeben sein.

Häufige Fragen

Wie lange dauert es, bis Google eine neue Seite indexiert?

Zwischen wenigen Stunden und mehreren Wochen. Links von wichtigen Seiten, die Aufnahme in die Sitemap und ein Indexierungsantrag in der Search Console helfen, dass sie schneller entdeckt wird.

Garantiert das Einreichen einer Sitemap die Indexierung?

Nein. Eine Sitemap hilft Suchmaschinen, URLs zu entdecken, doch sie entscheiden weiterhin selbst, ob eine Seite indexiert wird.

Warum indexiert Google eine andere URL als die gewünschte?

Google wählt die kanonische Version einer Duplikatgruppe anhand von Signalen wie Weiterleitungen, Canonical-Tags, internen Links und Sitemaps. Sorgen Sie dafür, dass alle diese Signale einheitlich auf Ihre bevorzugte URL zeigen.

Muss ich meine Website bei Suchmaschinen anmelden?

Nicht zwingend – Suchmaschinen finden die meisten Websites über Links. Die Bestätigung Ihrer Website in der Google Search Console und den Bing Webmaster Tools sowie das Einreichen einer Sitemap sorgen aber für schnellere Entdeckung und wertvolle Diagnosedaten.