KI-Bots: vollständige Liste der User-Agents
Jedes KI-Antwortsystem verwendet einen Crawler mit einem deklarierten User-Agent. Diese Liste wird direkt aus derselben Konstante generiert, die unsere Scan-Engine verwendet: sie bleibt automatisch synchron, wenn neue Bots auftauchen.
| User-Agent | System / Zweck | Kategorie |
|---|---|---|
| GPTBot | OpenAI (ChatGPT) — training | Training |
| OAI-SearchBot | OpenAI — ChatGPT search & citations | Live-Zitierung |
| ChatGPT-User | OpenAI — live browsing in ChatGPT | Live-Zitierung |
| ClaudeBot | Anthropic (Claude) — training/crawling | Training |
| anthropic-ai | Anthropic — generic crawling (legacy) | Training |
| Claude-SearchBot | Anthropic — Claude search index & citations | Training |
| Claude-User | Anthropic — live browsing in Claude | Live-Zitierung |
| PerplexityBot | Perplexity — crawling & citations | Live-Zitierung |
| Perplexity-User | Perplexity — live browsing | Live-Zitierung |
| Google-Extended | Google — training Gemini/AI Overviews | Training |
| Applebot-Extended | Apple Intelligence | Training |
| MistralAI-User | Mistral — live browsing in Le Chat | Training |
| DuckAssistBot | DuckDuckGo — DuckAssist answers | Training |
| Meta-ExternalFetcher | Meta AI — live fetching | Training |
| CCBot | Common Crawl (used to train many LLMs) | Training |
| Bytespider | ByteDance (also used for AI training) | Training |
| Meta-ExternalAgent | Meta AI | Training |
"Training" sammelt Inhalte zum Trainieren zukünftiger Modelle; "Live-Zitierung" beantwortet in Echtzeit eine bestimmte Anfrage unter Angabe von Quellen. Das eine zu blockieren blockiert nicht automatisch das andere: beide müssen in robots.txt separat verwaltet werden.
Möchtest du wissen, welche dieser Bots deine Website heute blockiert?
Prüfe deine robots.txt kostenlos