Wenn deine Website bei Google gut platziert ist, aber nie in den Antworten von ChatGPT oder Perplexity auftaucht, liegt die häufigste Ursache technisch, nicht inhaltlich: deine robots.txt blockiert KI-Bots.
Warum das passiert
Viele WordPress-Themes, SEO-Plugins und CDN-Konfigurationen fügen "vorsichtige" robots.txt-Regeln hinzu, die unbekannte Crawler standardmäßig blockieren, oder die geschrieben wurden, bevor GPTBot, ClaudeBot und PerplexityBot existierten. Das Ergebnis: Googlebot kommt durch, KI-Bots nicht, und niemand bemerkt es, bis es explizit geprüft wird.
Die zu prüfenden Bots
- GPTBot, OAI-SearchBot — OpenAI
- ClaudeBot, anthropic-ai — Anthropic
- PerplexityBot — Perplexity
- Google-Extended — Training von Gemini/AI Overviews (getrennt von Googlebot)
- Applebot-Extended — Apple Intelligence
So prüfst du es in 30 Sekunden
Nutze unseren kostenlosen AI Crawler Access Checker: gib die Domain ein und erhalte die Liste, wer erlaubt und wer blockiert ist, ohne die robots.txt von Hand lesen zu müssen.
So behebst du es
Findest du blockierte Bots, generiert ein vollständiger AIVIS-Bericht eine korrigierte robots.txt, bereit zur Veröffentlichung, und überprüft mit einem erneuten Scan, ob die Korrektur funktioniert hat.