Was ist Crawl Budget?
Crawl Budget ist die Menge an Zeit und Ressourcen, die Google Ihre Website zum Crawlen bereitstellt. Google hat nicht unendliche Crawl-Kapazität. Täglich crawlt Googlebot Milliarden von Seiten. Die Frage für jede Website: "Wie viel von meiner Website crawlt Google täglich?"
Das ist wie ein Traveling Budget: Sie haben €1000 zum Ausgeben. Mit Flugticket (€400) haben Sie nur €600 für Hotels/Food. Wenn Ihr Flugticket zu teuer ist, haben Sie weniger für wichtiges übrig. Mit Crawl Budget ist es gleich - wenn Google Zeit auf unwichtige Seiten verschwendet, crawlt sie weniger von Ihren wichtigen Seiten.
Wie Google Crawl Budget berechnet
Google kombiniert zwei Faktoren:
| Faktor | Definition | Bedeutung |
|---|---|---|
| Crawl Rate | Wie viele Seiten crawlt Google pro Tag? | Bei 100 requests/sec bei 1000 requests/day = 86 Millionen Seiten möglich |
| Crawl Demand | Wie viel von Ihrer Website sollte gecrawlt werden? | Google priorisiert häufig aktualisierte, wichtige Seiten |
Das mathematische Modell:
Crawl Budget = Crawl Rate x Crawl Demand
Wenn Ihre Website 50.000 Seiten hat und Google nur 1.000 davon täglich crawlt (2%), vermisst Google 98% Ihren Content. Das ist ein Crawl Budget Problem.
Crawl Budget im B2B Kontext
Im B2B sind besonders diese Websites betroffen:
- Multi-Level E-Commerce Sites: Z.B. "Category > SubCategory > Product" Struktur mit Millionen von Produktseiten
- SaaS mit dynamischen Content: Wenn jeder User eine Profil-Seite hat, können tausend Seiten entstehen
- Forum-basierte Communities: Wenn Ihre Website ein Community Forum mit 100k+ Threads hat
- Large Content Sites: B2B Content Marketing Sites mit 1000+ Blog Posts (Inbound Marketing, HubSpot, Moz Guides)
Ein Fallbeispiel: Eine SaaS Onboarding Platform hatte 50k Template Pages (jeder User Template = 1 URL). Google crawlt vielleicht 5k davon. 45k Pages sind unsichtbar für Google. Crawl Budget Optimization könnte diese Problem lösen.
Häufige Crawl Budget Killer
| Problem | Auswirkung auf Crawl Budget | Beispiel |
|---|---|---|
| Session-IDs in URLs | Extreme Verschwendung - jede URL gibt Session ID, Google sieht Millionen unique URLs | example.com/product?ID=123&sessionID=xyz123 vs example.com/product/123/ |
| Parameter Proliferation | Hoch - Filter Parameter erzeugen tausend URL Variationen | example.com/products?color=red&size=large&brand=nike |
| Broken Links | Mittel - Google crawlt 404s, aber findet keinen neuen Content | Interne Links zu gelöschten Seiten |
| Duplicate Content | Mittel - Google crawlt die gleiche Seite mehrfach unter verschiedenen URLs | example.com/product und example.com/?id=product zeigen gleichen Content |
| Slow Site Speed | Hoch - Google crawlt weniger pro Zeit wenn Seite langsam lädt | 3-second load time vs 0.5-second load time |
| Redirect Chains | Mittel - Redirect A > B > C kostet 3x Crawl Budget statt 1x | old.com/page > example.com/page > final.com/page |
| Noindex Tags | Niedrig Priorität - Google crawlt aber indexiert nicht | Seite mit noindex sollte aus robots.txt sein um Budget zu sparen |
| Infinite Scroll | Mittel - Pagination beliebig kann unendliche Seiten erzeugen | example.com/products?page=1, ?page=2, ?page=999999 |
Crawl Budget Optimization Strategien
1. Crawl Demand Insights in Google Search Console nutzen
- GSC > Settings > "Crawl Stats" zeigt Crawl-Rate pro Tag
- Wenn der Wert fallen ist, bedeutet das Ihre Website ist weniger "interessant" oder hat mehr Crawl Ineffiziencies
- Nutzen Sie dies als KPI: "Unser Crawl Rate sollte 1000+ sein"
2. robots.txt richtig nutzen
Sag Google explizit, welche Seiten zu crawlen sind:
- Disallow PDF Files: Wenn Sie 10k PDFs haben, disallow sie. Google verschwenet Zeit auf PDFs, nicht auf wichtige Pages
- Disallow Admin Seiten: /admin/, /dashboard/, /user-profile/
- Disallow Duplicate Content: /products?sort=price/ und /products?sort=date/ sind wahrscheinlich gleiche Seiten
- Disallow Low-Value Seiten: /thank-you/, /confirmation/, /404/
3. XML Sitemap strategisch nutzen
- Erstellen Sie eine Sitemap, die nur WICHTIGE Seiten enthält
- Nicht alle 100k Seiten einbinden, nur 500-2000 wichtigste
- Nutzen Sie robots.txt um auf diese Sitemap zu zeigen
- Google wertet Sitemap als "diese Seiten sind wichtig"
4. Canonicalize duplicates
- Wenn Sie mehrere URLs mit gleich Content haben, nutze Canonical Tags
- example.com/product?id=123 UND example.com/product/123/ = Canonical auf eine
- Google crawlt beide, aber "weiß" welche zu zählen ist
- Das spart Crawl Budget
5. Redirect Chains eliminieren
- A > B > C Redirects sind ineffizient (3 Crawls statt 1)
- Mache direkte Redirects: A > Final Destination
- Nutzen Sie 301 Redirects, nicht Meta Refresh
6. Pagination Parameter begrenzen
- Wenn Ihr Produkt Page hat Pagination (?page=1, ?page=2), limitiere auf z.B. 50 Pages
- Nutzen Sie rel="next" und rel="prev" für Pagination so Google versteht die Struktur
- Oder nutze "Infinite Scroll" Server-Seite (nicht JavaScript), aber mit Pagination Fallback
7. Site Speed verbessern
- Langsame Seite = niedriger Crawl Rate
- Google hat ein Timeout - wenn Seite zu lange laden dauert, googelt nicht zu Ende
- Server Response Time unter 200ms ist ideal
- Nutzen Sie CDN, Caching, Image Compression
Crawl Budget Audit durchführen
Schritt 1: Google Search Console daten
- GSC > Coverage > sehe wie viele Pages indexed sind
- GSC > Crawl Stats > sehe daily Crawl Rate
- GSC > Excluded > sehe welche Pages Google nicht indexed
Schritt 2: Sitemap Analyse
- Wie viele URLs sind in Ihrer Sitemap?
- Sollten alle da sein oder geben es Low-Value Seiten?
- Größe Test: Sitemap.xml sollte < 50 MB sein (Google kann größere nicht lesen)
Schritt 3: robots.txt Audit
- Nutzen Sie robots.txt Tester in GSC
- Testen Sie ob wichtige Seiten erlaubt sind (sollten sein)
- Testen Sie ob unwichtige Seiten disallowed sind (sollten sein)
Schritt 4: Crawl Inefficiencies finden
- Nutzen Sie Screaming Frog SEO Spider
- Crawlen Sie Ihre Website (kostenlos bis 500 URLs)
- Sehe Duplicate Content, Redirect Chains, Slow Pages
Schritt 5: Tracking setzen
- Monatlich: Check GSC Crawl Stats um Trend zu sehen
- Wenn fällt: Untersuche warum (neue Low-Value Seiten? Mehr Pagination?)
- Setzen Sie Ziel: "Maintain 1500+ Crawl Rate"
Crawl Budget Best Practices
- Priorisieren vor Skalieren: Mit 10k Pages ist Crawl Budget Problem. Wenn Sie es nicht optimieren, wird 100k Pages Disaster
- Seiten bewusst erstellen: Nicht jede Query sollte eigene URL sein. Überlege: "Wird Google das crawlen wollen?"
- Interne Linking optimieren: Wichtige Seiten sollten mehr interne Links haben (Google folgt Links prioritär)
- Archivieren, nicht Löschen: Wenn alte Content nicht mehr relevant, nutze noindex statt 404. Spart Crawl Budget
- Monitoring ist Key: Crawl Budget ist nicht One-Time, es ist kontinuierliches Monitoring
Crawl Budget vs. Technical SEO
Crawl Budget ist ein Teil von Technical SEO, aber nicht alles. Ein vollständiges Technical SEO Audit checkt auch:
- Mobile Friendliness
- Site Speed
- SSL/HTTPS
- Structured Data
- XML Sitemaps
- Canonicalization
Aber Crawl Budget ist fundamental - wenn Google Ihre wichtige Seiten nicht crawlt, können die anderen Optimierungen nicht helfen.
Mit strategischem Crawl Budget Management können Sie sicherstellen, dass Google mehr Zeit auf Ihre Geld-Making Pages verbringt (wichtige Blog Posts, Product Pages) und weniger Zeit auf Low-Value Seiten (Confirmation Pages, Admin Areas). Das ergebnis: Bessere Indexing, Bessere Rankings.