Die Frage lautet nicht „alle KI-Bots blockieren oder alle erlauben“: Verschiedene Bots tun verschiedene Dinge, und die richtige Entscheidung hängt von deinem Ziel ab.
Zwei Kategorien, zwei unterschiedliche Entscheidungen
Trainings-Bots (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent): sammeln Inhalte, um künftige Modelle zu trainieren. Sie zu blockieren schließt dich nicht aus den heutigen Antworten aus, wohl aber aus den Daten, mit denen künftige Modelle trainiert werden.
Zitier- bzw. Live-Browsing-Bots (OAI-SearchBot, Perplexity-User, ChatGPT-User): werden in Echtzeit genutzt, um eine konkrete Anfrage mit Quellenangabe zu beantworten. Blockierst du sie, verschwindet die Website ab sofort aus den KI-Antworten.
Die häufigste Wahl (und unsere Standardempfehlung)
Wenn dein Ziel ist, zitiert zu werden und Referral-Traffic von KI-Assistenten zu erhalten (der laut Marktdaten 2026 rund fünfmal besser konvertiert als organischer Traffic), ist es fast immer richtig, beide Kategorien zu erlauben: Je mehr Trainingsquellen über dich wissen, desto wahrscheinlicher wirst du künftig zitiert.
Wann Blockieren sinnvoll ist
- Exklusiv lizenzierte oder kostenpflichtige Inhalte, die nicht ohne Vergütung zu Trainingsmaterial werden sollen.
- Geschützte Bereiche (Nutzer-Dashboards, Inhalte hinter einer Paywall) – die sollten aber ohnehin für jeden Crawler gesperrt sein, nicht nur für KI-Bots.
Fertige Vorlage
Wir haben eine kommentierte, KI-freundliche robots.txt-Vorlage veröffentlicht, die alle bekannten KI-Bots ausdrücklich erlaubt und deine bestehenden Regeln beibehält. Alternativ erstellt ein AIVIS-Bericht die korrigierte Version für deine konkrete Domain.