Wusstest du, dass eine einzelne Suchanfrage in Google im Schnitt 0,0003 Kilowatt Strom verbraucht? Damit kann ein Google Nutzer mit seinen monatlichen Suchanfragen eine 60 Watt Glühbirne drei Stunden erhellen! Kein Wunder, dass Google das Thema „Energie“ und „Ressourcen“ wichtig ist – darum geht es in diesem Artikel „Google Crawl Budget“.
Dem Suchmaschinengiganten stehen ebenfalls nur begrenzte Ressourcen in Formen von Rechenleistung, Speicherkapazität sowie Bandbreite zur Verfügung. Daher ist es Google wichtig, mit diesen Ressourcen, so effektiv als möglich umzugehen. Aber vorweg: Kleine und mittelgroße Seiten, bis zu 1000 URLs, müssen sich hier in der SEO Optimierung weniger Sorgen machen, aber dennoch empfiehlt es sich, sich mit diesem Thema auseinanderzusetzen.
Verständnis zur Indexierung. Was ist ein Crawler?
Google indexiert Websites durch sogenannte Crawler, auch Bots, Spider oder Suchmaschinencrawler genannt. Diese kleinen „Helferlein“ durchforsten das Internet mittels Hyperlinks. Es gibt hier verschiedene Arten von Crawler, für Google News, Bilder, aber auch eben für Websites. Dieser Crawler speichert seine Erkenntnisse zur weiteren Aufbereitung im Suchmaschinenindex.
Was hat das mit dem Crawl Budget zu tun?
Je wichtiger eine Website für Google ist, desto höher ist Ihr PageRank. Google schenkt Ihrer Website sozusagen Vertrauen. Je mehr PageRank oder auch Trust (Vertrauen) Ihre Website besitzt, desto mehr Crawl Budget stellt Google seinen „Crawlern“ zur Verfügung. Der Crawler hat somit mehr Rechenleistung bzw. die Anordnung tiefer und umfangreicher eine Website zu durchforsten. Auch die Häufigkeit der Crawl-Vorgänge wird entsprechend zugewiesen. D.h. große und bekannte Nachrichtenportale werden häufiger und auch tiefer gecrawlt als eher unbekannte Websites.
Wie können Sie das Crawl Budget besser ausnutzen?
Mittels einer flachen Seitenstruktur und optimaler interner Verlinkung, verbesserst du den sogenannten Linkjuice auf deiner Website. Je weniger Klicks ein Nutzer zum Ergebnis benötigt, desto besser!
Die Ladegeschwindigkeit einer Website ist nicht nur für das Nutzererlebnis wichtig, sondern ermöglicht es dem Suchmaschinen-Crawler auch deine Website schneller und umfangreicher zu indexieren. Wenn du in ein professionelles Hosting deine Website investierst, so ermöglichst du in den meisten Fällen eine umfangreichere Indexierung. Im klassischen Shared-Hosting, teilen sich mehrere Website-Betreiber einen Server, demzufolge ist die Rechenleistung nicht so schnell wie bei einem eigenen V- Root- oder Managed Server. Eine gute Übersicht der Hosting-Angebote findest du beispielsweise auf Hosttest. Die Leistung der Website „Crawl health“ in der Google Search Console steigt, wenn die Website schnell reagiert!
Mittels der Robots.txt hast du die Möglichkeit das Crawling zu steuern. Verzeichnisse, Kategorien oder automatisiert generierte URLs (z.B. durch eine Suche), solltest du von der Indexierung ausschließen.
Durch die Sitemap.xml ermöglichst du dem Crawler mittels Inhaltsverzeichnis eine Übersicht Ihrer Website. Somit können auch URLs in tieferen Ebenen schneller indexiert werden. Wie du eine Sitemap.xml z.B. in WordPress erstellst, ist im folgendem Artikel sehr gut beschrieben.
URLs, die keine Rankings (Platzierungen) in Google erzielen sollen (z. B. ein Blogartikel über ein Event, das man besucht hat) lassen sich mit den Meta-Daten „noindex, nofollow“ oder „noindex, follow“ entsprechend steuern.
Weitere Faktoren die das Crawl-Budget beeinträchtigen
- Facettierte Navigation: Filtermöglichkeiten in Shops
- Session-IDs: Zuordnung einer Nutzerinteraktion mit einer Website
- Soft 404 Error: Aufrufbare URLs, ohne gewünschte Inhalte
- Duplicate Content: Interne Duplikate von Websites
- Thin Content: Minderwertige Inhalte oder SPAM
- Defekte Verlinkungen: Interne Links, die nicht mehr funktionieren
Fazit
Eine saubere Website-Struktur und schnelle Ladezeiten, ermöglichen es dem Crawler, deine Seite besser zu verstehen. Google belohnt deinen Fleiß einer technischen SEO mittels einer umfangreicheren, höheren und öfteren Indexierung. Aber nicht nur Google, auch der Nutzer deiner Website wird dadurch zufriedener.