AI robots.txt Generator
Wähle, welche KI-Crawler deine Website lesen dürfen, und erhalte robots.txt-Regeln zum Einfügen.
| User-agent | Betreiber | Zweck | Erlauben |
|---|---|---|---|
| GPTBot | OpenAI | Modelltraining | |
| OAI-SearchBot | OpenAI | KI-Suchindex | |
| ChatGPT-User | OpenAI | Abruf auf Nutzeranfrage | |
| ClaudeBot | Anthropic | Modelltraining | |
| anthropic-ai | Anthropic | Modelltraining | |
| Claude-User | Anthropic | Abruf auf Nutzeranfrage | |
| PerplexityBot | Perplexity | KI-Suchindex | |
| Perplexity-User | Perplexity | Abruf auf Nutzeranfrage | |
| Google-Extended | Modelltraining | ||
| Applebot-Extended | Apple | Modelltraining | |
| CCBot | Common Crawl | Modelltraining | |
| Bytespider | ByteDance | Modelltraining | |
| Meta-ExternalAgent | Meta | Modelltraining |
# Regeln für KI-Crawler — zur bestehenden robots.txt hinzufügen
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /Welche KI-Bots solltest du blockieren?
Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended) sammeln Seiten, um künftige Modelle zu trainieren. Wer sie blockiert, hält Inhalte aus Trainingsdaten heraus und verschwindet nicht aus KI-Antworten.
Such-Crawler (OAI-SearchBot, PerplexityBot) bauen den Index auf, den ChatGPT Search und Perplexity zitieren. Wer sie blockiert, kann in diesen Antworten weder zitiert noch verlinkt werden.
Abrufe auf Nutzeranfrage (ChatGPT-User, Claude-User, Perplexity-User) laden eine Seite nur, wenn eine Person den Assistenten danach fragt. Wer sie blockiert, macht Antworten über die eigene Website unmöglich.
Füge die Regeln in die robots.txt im Stammverzeichnis deiner Domain ein, neben die bestehenden Regeln. Jeder Crawler wendet die Gruppe seines User-agents an; Änderungen gelten ab seinem nächsten Besuch.