Crawl-Budget: So crawlt Google Ihre Website effizient

Das Crawl-Budget ist vereinfacht gesagt die Anzahl der Seiten, die der Googlebot in einem bestimmten Zeitraum auf Ihrer Website besuchen will und kann. Für einen Blog mit 50 Seiten ist das kein Thema — Google crawlt sie alle mühelos. Doch sobald eine Website auf Zehntausende URLs wächst (größere Shops, Portale, Seiten mit vielen Filtern), entscheidet die Verwendung dieses Budgets direkt darüber, welche Seiten in den Index gelangen und welche wochenlang warten.

Wovon das Crawl-Budget abhängt

Google legt es über zwei Faktoren fest. Der erste ist die Crawl-Kapazität — wie schnell Ihr Server antwortet. Laden Seiten langsam oder liefern Fehler, drosselt der Googlebot, um Sie nicht zu überlasten. Der zweite ist die Crawl-Nachfrage — wie wertvoll und aktuell Google Ihre Seiten einschätzt. Beliebte, häufig aktualisierte Seiten werden öfter gecrawlt. Die Erkenntnis ist praktisch: Ein schneller Server und guter Inhalt kaufen buchstäblich ein größeres Crawl-Budget.

Die größten Budgetfresser

Auf großen Websites versickert das Budget meist in Dingen, die gar nicht gecrawlt werden sollten:

• Facettennavigation und Filter: Kombinationen aus Farbe, Größe und Sortierung erzeugen Millionen nutzloser URLs.
• Session- und Tracking-Parameter: derselbe Inhalt auf Dutzenden Adressvarianten.
• Endlose Paginierung und Kalender: Seiten, die immer weiter gehen.
• Soft-404 und Weiterleitungsketten: jeder Sprung kostet einen Crawl.

So lenken Sie die Bots

Ziel ist, dass Google Zeit auf Seiten verwendet, die tatsächlich ranken sollen. Blockieren Sie nutzlose Parameter- und Filter-URLs in der robots.txt — beachten Sie aber den Unterschied zwischen Crawling blockieren und aus dem Index entfernen, den wir ausführlich in Robots Meta Tag vs robots.txt behandeln. Lösen Sie Duplikate mit Canonical Tags (Leitfaden zu Canonical Tags) und halten Sie eine saubere, aktuelle XML-Sitemap als Wegweiser für den Bot bereit — die Grundlagen stehen in sitemap.xml und robots.txt. Entfernen Sie 301-Weiterleitungsketten und reparieren Sie defekte Links; jeder Fehler ist ein verschwendeter Crawl.

Servergeschwindigkeit ist die halbe Miete

Da die Crawl-Kapazität direkt von der Antwortzeit abhängt, ist die Beschleunigung des Servers einer der wirksamsten Schritte. Ein niedrigerer TTFB bedeutet, dass der Googlebot in derselben Zeit mehr Seiten besuchen kann. NVMe-Festplatten, gutes Caching und ein CDN machen hier einen messbaren Unterschied. Wenn Ihnen eine vollständige und schnelle Indexierung einer großen Website wichtig ist, sehen Sie sich unsere SEO-Hosting-Tarife mit NVMe-Festplatten und globalem CDN sowie unsere Pakete und Preise an.

So messen Sie

Öffnen Sie in der Google Search Console den Bericht Crawling-Statistiken: Sie sehen, wie viele Anfragen Google pro Tag sendet, die durchschnittliche Antwortzeit und welche Dateitypen gecrawlt werden. Geht ein großer Teil der Crawls an Parameter- oder 404-URLs, liegt dort Ihre Arbeit. Beobachten Sie auch die Zahl indexierter gegenüber erkannten Seiten — eine große Lücke bedeutet, dass Google URLs findet, aber nicht dazu kommt oder nicht will, sie zu indexieren.