Hilfe bei Problem mit Shop – unnatürlich viele Crawl Bots auf Online Shop bzw. Internetseite Millionen Zugriffe – Shop wird langsamer
Hier ein eher exotisches SEO Problem und das weitere Vorgehen dazu.
Der Fall war, dass google Bots komplett einen Shop überrant haben. Der Shop hatte pro Sekunde ca. 10 google Bot Aufrufe. Das Ergebnis war identisch mit einem Angriff auf den Online Shop. Der Shop wurde an gewissen Stellen langsamer.
Sind es echte google Bots oder Fake Bots?
Zunächst war wichtig zu prüfen ob es wirklich google Bots oder Fake Bots sind. In den Server Logs finden sich die entsprechenden Infos zu IP und User-Agent.
Sie die hundertausenden oder Millionen Aufrufe echt von google Bots? oder andere Bots die sich als google Bot tarnen? Dazu gibt es hier eine Anleitung von google.
https://support.google.com/webmasters/answer/80553?hl=en
Alternativ kann auch direkt in der Google Search Console geschaut werden
In unserem Fall sah es so aus. Von einer normalen Anzahl, gab es schlagartig einen Anstieg auf fast 1 Millionen Google Bot Zugriffe pro Tag.
Ein weiteres Indiz für die Problem - Core Web Vitals
Der Server wurde massiv ausgebremst durch die Anzahl an Zugriffen.
Nun gibt es verschiedene Möglichkeiten was dort schief läuft
- Anpassung an der Seite/Shop?
- Falsche Ignore Einstellung in robots.txt und/oder google Seach Console?
- google bot defekt?
Lösung für zuviele google Bots im Shop / Internetseite
Wenn der google Bot defekt ist bzw. einen Bug hat, hilft diese Report Seite. Dies war in unserem Fall der der Grund. Ohne jegliche Änderungen ist von einem Tag auf dem anderen der google Bot durchgedreht und hat sich scheinbar auf unserer Seite "verfangen". Es wurden Millionen von komplett nutzlosen Craws durchgeführt was den Shop und Server massiv belastete.
Jedoch ohne(!) jegliche Änderung am Shop oder Server.
https://support.google.com/webmasters/answer/35253?hl=en
Falls auch das nicht hilft, kann der Google Bot auch per Firewall geblockt werden. Es können gezielt Bereiche geblockt werden auf die der Bot keinen Zugriff erhalten soll, weil dieser sich dort "verläuft" und Unfug macht. In unserem Fall waren das die Filterungen bei Kategorien und Suchergebnissen im Shop. Der Bot ist damit nicht klargekommen und hat endlos versucht die Dinge zu erfassen.
Update in unserem Fall - Bot Crawling Rate sinkt deutlich
In unserem Fall sankt die unnatürliche Crawling Rate und Menge an Bots deutlich nach abschicken des Reports. Wir gehen aktuell davon aus, dass in wenigen Tagen wieder der Normalzustand erreicht ist.
Update - zu früh gefreut...
Leider hielt der Trend nur einige Tage an und stagnierte und stieg sogar auf vorheriges Level fast wieder an.
Die nächste Lösung war nun das harte Blocken der Google Search Bots anhand User Agent. Die Bots "verlaufen" sich in unserem Fall in der layered search eines Shops. Laut einem stackoverflow Beitrag haben andere Personen damit Erfolg gehabt. Wenn die google Bots eine Zeit lang Fehlerseiten erhalten, hören diese entsprechend auf die falschen urls zu durchsuchen.
Update - "gelöst"
Die nun scheinbar wirkliche Lösung war eine harte Weiterleitung des google Bots und aller weiteren Bots, die versuchten eine bestimmte Url aufzurufen. Google Bots hat sich in den URLs mit Parametern scheinbar verlaufen und dort für massive Probleme gesorgt. Somit haben wir diese gezielt auf eine 410 Seite geleitet. Dies sollte den google Bot dazu bringen diese Seiten hundertausende Mal pro Tag aufzurufen.
Weiter haben wir das Formular zum Crawling Report mehrfach erneut abgeschickt. Jedoch sind wir uns unsicher, ob dies den gewünschten Erfolg hatte.
Welche der beiden Maßnahmen nun wirklich die Lösung war, können wir aktuell nicht sicher sagen. Wir vermuten die Weiterleitung auf 410 Seite war die Lösung, da wir bereits etlich (ca. 5) Formulare abgeschickt hatten.
Nach einigen Tagen sah es wie folgt aus
Sie möchten weitere Informationen zur Agentur KonVis?
Weitere Informationen zu laufende Betreuung finden Sie hier
Weitere Informationen zu SEO Beratung und Betreuung finden Sie hier
Weitere Informationen zu Online Marketing Beratung finden Sie hier