AI robots.txt Generator
Wähle, welche KI-Crawler deine Website lesen dürfen, und erhalte robots.txt-Regeln zum Einfügen.
| User-agent | Betreiber | Zweck | Erlauben |
|---|---|---|---|
| GPTBot | OpenAI | Modelltraining | |
| OAI-SearchBot | OpenAI | KI-Suchindex | |
| ChatGPT-User | OpenAI | Abruf auf Nutzeranfrage | |
| ClaudeBot | Anthropic | Modelltraining | |
| anthropic-ai | Anthropic | Modelltraining | |
| Claude-SearchBot | Anthropic | KI-Suchindex | |
| Claude-User | Anthropic | Abruf auf Nutzeranfrage | |
| PerplexityBot | Perplexity | KI-Suchindex | |
| Perplexity-User | Perplexity | Abruf auf Nutzeranfrage | |
| Google-Extended | Modelltraining | ||
| Applebot-Extended | Apple | Modelltraining | |
| MistralAI-User | Mistral | Abruf auf Nutzeranfrage | |
| DuckAssistBot | DuckDuckGo | Abruf auf Nutzeranfrage | |
| Meta-ExternalFetcher | Meta | Abruf auf Nutzeranfrage | |
| CCBot | Common Crawl | Modelltraining | |
| Bytespider | ByteDance | Modelltraining | |
| Meta-ExternalAgent | Meta | Modelltraining |
# Regeln für KI-Crawler — zur bestehenden robots.txt hinzufügen
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: MistralAI-User
Allow: /
User-agent: DuckAssistBot
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /Holen Sie sich den vollständigen KI-Sichtbarkeitsbericht für Ihre Website
Dieses Tool prüft nur einen Punkt. Der vollständige Scan prüft alles, worauf ChatGPT, Perplexity, Gemini und Claude achten, bewertet es und prüft Ihre Website jeden Monat erneut per E-Mail. Kostenlos, ohne Konto.
Nur E-Mails zu dieser Domain, kein Spam. Jederzeit abmeldbar.
Tägliches Monitoring, mehr Websites oder White-Label-Berichte? Pläne ansehenWelche KI-Bots solltest du blockieren?
Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended) sammeln Seiten, um künftige Modelle zu trainieren. Wer sie blockiert, hält Inhalte aus Trainingsdaten heraus und verschwindet nicht aus KI-Antworten.
Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) bauen den Index auf, den ChatGPT Search und Perplexity zitieren. Wer sie blockiert, kann in diesen Antworten weder zitiert noch verlinkt werden.
Abrufe auf Nutzeranfrage (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot, Meta-ExternalFetcher) laden eine Seite nur, wenn eine Person den Assistenten danach fragt. Wer sie blockiert, macht Antworten über die eigene Website unmöglich.
Füge die Regeln in die robots.txt im Stammverzeichnis deiner Domain ein, neben die bestehenden Regeln. Jeder Crawler wendet die Gruppe seines User-agents an; Änderungen gelten ab seinem nächsten Besuch.