Si votre site est bien positionné sur Google mais n'apparaît jamais dans les réponses de ChatGPT ou Perplexity, la cause la plus courante est technique, pas liée au contenu : votre robots.txt bloque les bots IA.
Pourquoi cela arrive
De nombreux thèmes WordPress, plugins SEO et configurations CDN ajoutent des règles robots.txt "prudentes" qui bloquent par défaut les robots d'exploration inconnus, ou qui ont été écrites avant l'existence de GPTBot, ClaudeBot et PerplexityBot. Résultat : Googlebot passe, les bots IA non, et personne ne s'en aperçoit tant que ce n'est pas vérifié explicitement.
Les bots à vérifier
- GPTBot, OAI-SearchBot — OpenAI
- ClaudeBot, anthropic-ai — Anthropic
- PerplexityBot — Perplexity
- Google-Extended — entraînement de Gemini/AI Overviews (distinct de Googlebot)
- Applebot-Extended — Apple Intelligence
Comment vérifier en 30 secondes
Utilisez notre AI Crawler Access Checker gratuit : saisissez le domaine, obtenez la liste de qui est autorisé et qui est bloqué, sans avoir à lire le robots.txt à la main.
Comment corriger
Si vous trouvez des bots bloqués, un rapport AIVIS complet génère un robots.txt corrigé prêt à publier, et vérifie que la correction a fonctionné avec une nouvelle analyse.