Bytespider
Der Crawler von ByteDance (dem Mutterkonzern von TikTok), der auch Trainingsdaten für eigene KI-Modelle sammelt. Weniger bekannt als GPTBot oder ClaudeBot, gehört aber zu den KI-Bots, die man beobachten und in der robots.txt ausdrücklich regeln sollte.
Finde heraus, ob deine Website das umsetzt
Kostenloser Scan, Ergebnis in unter 90 Sekunden.