KI-Bots: vollständige Liste der User-Agents
Jedes KI-Antwortsystem verwendet einen Crawler mit einem deklarierten User-Agent. Diese Liste wird direkt aus derselben Konstante generiert, die unsere Scan-Engine verwendet: sie bleibt automatisch synchron, wenn neue Bots auftauchen.
| User-Agent | System / Zweck | Kategorie |
|---|---|---|
| GPTBot | OpenAI (ChatGPT) — training | Training |
| OAI-SearchBot | OpenAI — ricerca/citazioni ChatGPT | Live-Zitierung |
| ChatGPT-User | OpenAI — browsing live in ChatGPT | Live-Zitierung |
| ClaudeBot | Anthropic (Claude) — training/crawling | Training |
| anthropic-ai | Anthropic — crawling generico | Training |
| Claude-User | Anthropic — browsing live in Claude | Live-Zitierung |
| PerplexityBot | Perplexity — crawling/citazioni | Live-Zitierung |
| Perplexity-User | Perplexity — browsing live | Live-Zitierung |
| Google-Extended | Google — training Gemini/AI Overviews | Training |
| Applebot-Extended | Apple Intelligence | Training |
| CCBot | Common Crawl (used to train many LLMs) | Training |
| Bytespider | ByteDance (also used for AI training) | Training |
| Meta-ExternalAgent | Meta AI | Training |
"Training" sammelt Inhalte zum Trainieren zukünftiger Modelle; "Live-Zitierung" beantwortet in Echtzeit eine bestimmte Anfrage unter Angabe von Quellen. Das eine zu blockieren blockiert nicht automatisch das andere: beide müssen in robots.txt separat verwaltet werden.
Möchtest du wissen, welche dieser Bots deine Website heute blockiert?
Prüfe deine robots.txt kostenlos