Wenn Menschen von „Suchmaschinenoptimierung“ reden, denken die meisten zuerst daran, dass sie mit suchintensiven Keywords bei Google bestenfalls auf Platz 1 landen wollen. Doch welche Faktoren beeinflussen eigentlich den Umgang der Suchmaschinen mit Ihrer Website? Das Thema Crawl Budget wird hier oftmals außer Acht gelassen. Dabei ist genau das einer der wichtigsten Faktoren. Was das genau ist und wie Sie es durch Wissen rund um das Crawl Budget schaffen, dass Ihre Website effizienter durchsucht wird, zeigen wir Ihnen in diesem Artikel.
Was versteht man unter Crawl Budget?
Jeden Tag werden tausende neue Webseiten veröffentlicht. Damit Suchmaschinen wie Google diejenigen mit den relevantesten Inhalten Nutzern zur Verfügung stellen können, muss das Web permanent von Bots gecrawlt (durchsucht) werden. Das Crawlen einer Website bietet überhaupt erst die Grundlage dafür, dass eine Website in den Google Index aufgenommen werden kann. Für das Crawling einer Website hat der Googlebot nicht unendlich viel Kapazitäten, weswegen ihm ein sogenanntes Crawl Budget zur Verfügung steht. Je mehr Crawl Budget dem Googlebot also zur Verfügung steht, desto mehr Seiten Ihrer Website kann er crawlen und desto mehr Inhalte Ihrer Homepage können demnach bei Google indexiert werden. Bei Webseiten mit weniger als 1000 Seiten wird das Crawl Budget zwar nicht so schnell verbraucht. Dennoch gibt es viele Faktoren, die das Crawl Budget auch hier negativ beeinflussen können.
Woraus setzt sich das Crawl Budget zusammen?
Erst im Januar 2017 gab Google eine offizielle Erklärung darüber ab, was das Crawl Budget ist und wie es sich zusammensetzt. Gary Illyes von Google erklärte in einem Blogbeitrag, dass das Crawl Budget sich eigentlich aus zwei Teilen zusammensetzt. Auf der einen Seite aus dem Crawl-Rate-Limit und auf der anderen Seite aus der Crawl-Nachfrage.
Crawl-Rate-Limit:
Bei jedem Crawling durch den Googlebot wird natürlich auch der Server der Website belastet. Um die Leistung des Servers nicht zu sehr zu beanspruchen, existiert das sogenannte Crawl-Rate-Limit. Dieses hindert den Bot daran zu viele Anfragen zu stellen, die Ihre Website langsamer machen würden.
Die optimale Geschwindigkeit des Crawlings einer Website bestimmt Google selbst über hoch entwickelte Algorithmen. Dabei bemüht sich Google bei jedem Crawl Ihrer Website darum, so viele Seiten wie möglich zu durchsuchen, ohne die Bandbreite des Servers übermäßig zu beeinträchtigen.
Bei wenig Besucher-Traffic auf einer Website werden auch die Server einer Website weniger belastet. Daher bekommt der Google-Bot auf solchen Webseiten schneller eine Antwort.
Wenn Sie starke Probleme mit der Serverbelastung feststellen, bietet Google über die Google Search Console die Möglichkeit, die Crawling-Frequenz zu begrenzen. Diese Möglichkeit sollten Sie jedoch nur in Anspruch nehmen, wenn Sie wirklich sicher sind, dass die Probleme mit der Serverbelastung durch den zu häufigen Zugriff durch den Googlebot verursacht werden.
Crawl-Nachfrage:
Die Crawl-Nachfrage basiert darauf, dass von „echten“ Nutzern häufig aufgerufene URLs auch vom Google Bot häufiger besucht werden. Veraltete URLs, die nicht so häufig besucht werden, verschwinden demnach immer weiter aus dem Index. Genau deswegen ist es so wichtig, seine Seiteninhalte stets aktuell zu halten. Auch Backlinks oder das Teilen von Inhalten auf sozialen Netzwerken sorgen für ein häufigeres Crawlen der verlinkten URLs.
Zusammengefasst…
…erhalten wir mit der Crawl-Rate-Limit und der Crawl-Nachfrage das Crawl Budget.
Was können Sie machen um mehr aus dem verfügbaren Crawl Budget rauszuholen?
1.Die Ladezeit Ihrer Website verbessern
Schnelle Webseiten können mehr gleichzeitige Anfragen vom Google-Bot und von echten Nutzern verarbeiten. Darüber hinaus wirken sich schnell ladende Webseiten auf weitere vielfältige Weise auf die Suchmaschinenoptimierung aus. So sorgen Webseiten, die mehrere Sekunden zum Laden brauchen, für häufige Abbrüche durch Nutzer – vor allem, wenn diese von einem mobilen Endgerät aus versuchen auf Ihre Seite zuzugreifen. Solche Abbrüche sind auch ein negatives Signal für Google und zeigen sich schlimmstenfalls in einem Rankingverlust.
Ob die Ladezeit Ihrer Website im grünen Bereich liegt und an welchen Stellen noch Optimierungsbedarf besteht, können Sie bequem mit dem kostenlosen Tool Google Page Speed Insights überprüfen.
Meistens kann schon anhand der Komprimierung Ihrer Bilder die Ladezeit deutlich verbessert werden. Achten Sie daher immer darauf, dass Sie nicht zu große Bilddateien auf Ihre Website hochladen. Für WordPress gibt es zahlreiche kostenlose Plugins, die die Bildkomprimierung automatisch übernehmen.
2.Webseite insgesamt schlanker gestalten
Eine langsam ladende Webseite kann auch aus zu viel überflüssigem Schnick-Schnack auf der Webseite resultieren. Immer wieder begegnen uns Webseitenbetreiber, die auf Ihrem WordPress System gefühlt Millionen an unnötigen Plugins installiert haben. Jedes Plugin muss geladen werden, was natürlich die gesamte Ladezeit teilweise stark beeinflussen kann. Entrümpeln Sie also Ihr WordPress System und installieren Sie nur diejenigen Plugins, die Sie wirklich benötigen.
Auch in Sachen Design sollten Sie Ihre Website unter die Lupe nehmen. Animationen sind nett und liegen sicherlich auch im Trend, dennoch sollten Sie diese nur sparsam einsetzen.
3.Broken Links entfernen
Kaputte Links sind nicht nur eine negative Erfahrung für Ihre Webseiten-Besucher, sondern sorgen in Masse ebenfalls für verschwendetes Crawl Budget. Zu viele kaputte Links sorgen also schlimmstenfalls dafür, dass der Bot an diesen zu viel Crawl Budget verschwendet, sodass er keines mehr für die relevanten und hochwertigen Seiten zur Verfügung hat.
Ob Ihre Website Broken Links enthält und wie viele, können Sie mit kostenlosen Tools testen. Wir benutzen immer den kostenlosen Broken Links Checker.
4.Duplicate Content entfernen
Auch Duplicate Content (doppelte Inhalte) werden doppelt gecrawlt, was ebenfalls unnötig das verfügbare Crawl Budget aufbraucht. Zudem „bestraft“ Google doppelte Inhalte mit negativen Rankings. Deswegen sollten Sie Ihre Website dringend auf doppelte Inhalte hin überprüfen und Duplikate umgehend entfernen.
5.Die „Infinite Space“ Falle
Der Google Bot folgt jeder URL, die er auf Ihrer Website vorfindet. Jetzt stellen Sie sich mal vor, Sie haben auf Ihrer Website einen Kalender integriert, wo Sie unendlich oft auf den Button „nächster Monat“ klicken können. Auch der Google-Bot wird, sobald er an dieser Stelle anfängt zu crawlen, bis ins Unendliche auf diesen Button „klicken“, bis das Crawl Budget aufgebraucht ist. Nachfolgende Inhalte werden aufgrund des fehlenden Crawl Budgets also überhaupt nicht mehr wahrgenommen.
Durchsuchen Sie Ihre Website nach solchen oder ähnlichen Fallen, die ein unendliches Klicken ermöglichen und begrenzen Sie diese nach Möglichkeit.
6.Sorgen Sie für immer frischen Content auf Ihrer Website
Wir haben gelernt, dass der Google Bot URLs häufiger crawlt, die auch von echten Nutzern häufig besucht werden. Sorgen Sie daher auf Ihrer Website stets für frischen und informativen Content, der lesenswert für Ihre Zielgruppe ist. Besonders geeignet hierfür ist sogenannter Evergreen Content.
Es empfiehlt sich stets, einen eigenen Blog auf Ihre Website zu integrieren, in welchem Sie regelmäßig informativen Content für Ihre Nutzer veröffentlichen.
