Was ist das Crawl-Budget?

Das Crawl-Budget ist die Anzahl an URLs, die der Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es ergibt sich aus zwei Faktoren: dem Crawl-Kapazitätslimit – wie viele Anfragen ein Server verträgt, ohne langsamer zu werden – und dem Crawl-Bedarf – wie wichtig und aktuell Google die Inhalte einschätzt. Für die meisten kleinen Websites ist das Crawl-Budget kein Thema; relevant wird es vor allem bei großen Websites mit vielen Tausend URLs.

Das Crawl-Budget beschreibt keine feste Zahl, die Google einer Website zuweist, sondern das Ergebnis aus Serverleistung und Nachfrage. Der Crawler ruft Seiten ab, folgt Links und meldet die Inhalte zur Indexierung. Je mehr URLs eine Website hat, desto stärker konkurrieren diese Seiten um die begrenzte Zahl an Abrufen – und desto wichtiger wird ein sauberes Crawl-Budget-Management.

Kurzprofil des Begriffs

Wie bestimmt Google das Crawl-Budget?

Google bestimmt das Crawl-Budget aus zwei Größen, die zusammenwirken: dem Crawl-Kapazitätslimit und dem Crawl-Bedarf. Das eine legt fest, wie viel gecrawlt werden kann, das andere, wie viel gecrawlt werden soll.

• Crawl-Kapazitätslimit (crawl capacity limit): die maximale Zahl gleichzeitiger Verbindungen, die der Googlebot zu einer Website öffnet, ohne den Server zu überlasten. Antwortet der Server schnell und fehlerfrei, hebt Google das Limit an. Wird er langsam oder liefert Serverfehler (5xx), drosselt Google das Crawling automatisch.
• Crawl-Bedarf (crawl demand): wie stark Google eine Website crawlen will. Er steigt mit der Popularität der URLs, ihrer Aktualität und der Häufigkeit von Änderungen. Beliebte und häufig aktualisierte Seiten werden öfter besucht, verwaiste oder statische Seiten seltener.

Das tatsächliche Crawl-Budget ist die kleinere der beiden Grenzen: Selbst wenn der Server viel verträgt, crawlt Google nicht mehr, als der Bedarf hergibt – und umgekehrt bremst ein schwacher Server auch bei hohem Bedarf das Crawling aus.

Wie viel Google auf einer Website tatsächlich crawlt, lässt sich im Bericht „Crawling-Statistiken“ der Google Search Console nachvollziehen – inklusive Anzahl der Anfragen pro Tag, durchschnittlicher Antwortzeit und der zurückgegebenen Statuscodes.

Für wen ist das Crawl-Budget relevant?

Das Crawl-Budget ist vor allem für große Websites mit sehr vielen URLs relevant. Google selbst nennt in seiner Dokumentation als Faustregel: Erst ab etwa 10.000 URLs oder bei häufig wechselnden Inhalten lohnt es sich, das Crawl-Budget aktiv zu steuern.

Konkret betroffen sind unter anderem:

• Große Onlineshops mit Tausenden Produkt-, Kategorie- und Filterseiten.
• Nachrichten- und Verlagsseiten, die täglich viele neue Artikel veröffentlichen und auf schnelle Indexierung angewiesen sind.
• Portale und Verzeichnisse mit dynamisch generierten Seiten, etwa Jobbörsen oder Immobilienplattformen.

Für eine typische Unternehmenswebsite mit einigen Hundert Seiten ist das Crawl-Budget dagegen kein Engpass: Google crawlt solche Seiten in aller Regel vollständig. Hier zahlt sich die Arbeit an Inhaltsqualität und Seitenstruktur stärker aus als an der Crawl-Steuerung. Trotzdem gilt: Was den Crawler schont, verbessert fast immer auch die technische Gesundheit einer Website insgesamt.

Was verschwendet Crawl-Budget?

Crawl-Budget wird immer dann verschwendet, wenn der Googlebot Zeit auf URLs verwendet, die keinen indexierbaren Mehrwert bieten. Jeder Abruf einer minderwertigen oder doppelten Seite geht von der Kapazität für die wirklich wichtigen Seiten ab.

Die häufigsten Ursachen im Detail:

1. Facettierte Navigation und URL-Parameter: Filter, Sortierungen und Session-IDs erzeugen unzählige URL-Varianten desselben Inhalts. In Onlineshops ist das der größte Budget-Fresser überhaupt.
2. Duplicate Content: Sind identische Inhalte über mehrere URLs erreichbar, crawlt Google jede Variante – und verschwendet Budget an Dubletten.
3. Soft-404- und Fehlerseiten: Seiten, die den Status 200 zurückgeben, aber leer oder inhaltslos sind, binden Abrufe ohne Gegenwert.
4. Weiterleitungsketten: Jede zusätzliche Weiterleitung in einer Kette kostet einen weiteren Abruf, bevor die eigentliche Seite erreicht wird.
5. Minderwertige und verwaiste Seiten: Thin Content, endlose Kalender-Archive oder verwaiste Seiten ohne interne Verlinkung senken den Gesamtwert einer Website und ziehen Bedarf von den starken Seiten ab.

Wie optimiert man das Crawl-Budget?

Crawl-Budget optimiert man, indem man dem Googlebot die wichtigen Seiten leicht zugänglich macht und unwichtige URLs konsequent vom Crawling ausschließt. Ziel ist, dass jeder Abruf auf einer indexierbaren, wertvollen Seite landet.

• Crawling steuern per robots.txt: URLs ohne Suchwert – Filterparameter, interne Suchergebnisse, Warenkorb – vom Crawling ausschließen. Die robots.txt verhindert das Crawling, nicht die Indexierung bereits bekannter URLs.
• Indexierung steuern per Noindex und X-Robots-Tag: Soll eine Seite gecrawlt, aber nicht indexiert werden, ist ein noindex per Meta-Tag oder HTTP-Header der richtige Weg. Wichtig: Eine per robots.txt gesperrte Seite kann Google das noindex nicht lesen.
• Saubere Sitemap pflegen: Die XML-Sitemap sollte nur indexierbare, kanonische URLs mit Statuscode 200 enthalten. Sie ist der wichtigste Hinweis an Google, welche Seiten Priorität haben.
• Serverleistung verbessern: Schnelle Antwortzeiten heben das Crawl-Kapazitätslimit. Ein performanter Server, Caching und ein CDN erlauben dem Googlebot, mehr Seiten in gleicher Zeit abzurufen.
• Weiterleitungsketten auflösen: Redirects direkt auf das finale Ziel zeigen lassen, statt über mehrere Zwischenstationen.
• Interne Verlinkung stärken: Wichtige Seiten flach verlinken und verwaiste Seiten anbinden oder entfernen. Eine klare Struktur führt den Crawler gezielt zu den relevanten Inhalten.

Welche dieser Hebel im Einzelfall zählen, zeigt eine strukturierte Analyse der Server-Logs und der Crawling-Statistiken. Genau diese technische Bestandsaufnahme ist Teil eines professionellen SEO-Audits, das Crawling-Verschwendung sichtbar macht und die stärksten Hebel priorisiert.

Häufige Fragen zum Crawl-Budget

Ist das Crawl-Budget ein Rankingfaktor?
Nein, das Crawl-Budget ist kein direkter Rankingfaktor. Es beeinflusst nur, wie schnell und vollständig Google Seiten crawlt und indexiert. Wird eine wichtige Seite gar nicht erst gecrawlt, kann sie aber auch nicht ranken – insofern ist ausreichendes Crawling die Voraussetzung für Sichtbarkeit.

Muss ich mich als kleine Website um mein Crawl-Budget kümmern?
In der Regel nein. Websites mit einigen Hundert bis wenigen Tausend URLs crawlt Google meist vollständig. Erst ab etwa 10.000 URLs oder bei sehr häufigen Inhaltsänderungen wird die aktive Steuerung des Crawl-Budgets zum Thema.

Erhöht eine höhere Crawl-Frequenz mein Ranking?
Nein. Häufigeres Crawling sorgt lediglich dafür, dass Änderungen schneller in den Index gelangen. Die Bewertung der Inhalte erfolgt unabhängig davon über die eigentlichen Rankingsignale.

Wo sehe ich, wie viel Google auf meiner Website crawlt?
Im Bericht „Crawling-Statistiken“ der Google Search Console. Er zeigt die Zahl der Crawling-Anfragen, die durchschnittliche Antwortzeit des Servers und die verteilten Statuscodes über die Zeit.