Rapport 2026 sur le blocage des robots IA
Quels robots IA les sites tiennent-ils à l’écart, et lesquels laissent-ils entrer ? Mesuré sur 1 402 robots.txt réels, pas par sondage.
Échantillon : 1 402 fichiers robots.txt, sur 1 832 domaines analysés · Analyses du 19 sept. 2026 au 8 nov. 2026 · Recalculé le 12 nov. 2026
Sur les 1 402 robots.txt analysés par AIVIS, 11,5 % interdisent l’ensemble du site à au moins un robot IA, et 0 % l’interdisent aux 17 robots suivis. La grande majorité laisse tous les robots IA libres de lire.
Le blocage vise l’entraînement des modèles bien plus que les réponses : 11,5 % des sites bloquent au moins un robot d’entraînement, contre seulement 6 % pour un robot de recherche IA et 5,8 % pour les agents qu’un assistant envoie quand un utilisateur lui demande d’ouvrir une page. 4,9 % ne bloquent que les robots d’entraînement, en laissant ouvertes la recherche IA et les visites à la demande.
Parmi les secteurs assez représentés, Actualités et médias bloque le plus souvent (50,9 % des robots.txt excluent au moins un robot IA) et Universités le moins souvent (0 %).
Taux de blocage par robot
Part des 1 402 robots.txt qui interdisent l’ensemble du site à chaque robot.
| Robot (user-agent) | Opérateur | Finalité | Bloqué par |
|---|---|---|---|
CCBot | Common Crawl | Entraînement de modèles | 9,1 % |
Bytespider | ByteDance | Entraînement de modèles | 8,8 % |
GPTBot | OpenAI | Entraînement de modèles | 7,8 % |
ClaudeBot | Anthropic | Entraînement de modèles | 7,5 % |
anthropic-ai | Anthropic | Entraînement de modèles | 6,8 % |
Google-Extended | Entraînement de modèles | 6,8 % | |
Applebot-Extended | Apple | Entraînement de modèles | 6,8 % |
Meta-ExternalAgent | Meta | Entraînement de modèles | 6,8 % |
PerplexityBot | Perplexity | Index de recherche IA | 5,8 % |
ChatGPT-User | OpenAI | Visite à la demande | 4,4 % |
Perplexity-User | Perplexity | Visite à la demande | 4,2 % |
Claude-User | Anthropic | Visite à la demande | 4 % |
OAI-SearchBot | OpenAI | Index de recherche IA | 3,3 % |
Claude-SearchBot | Anthropic | Index de recherche IA | 0,1 % |
DuckAssistBot | DuckDuckGo | Visite à la demande | 0,1 % |
MistralAI-User | Mistral | Visite à la demande | 0 % |
Meta-ExternalFetcher | Meta | Visite à la demande | 0 % |
Blocage des robots IA par secteur
Part des robots.txt de chaque secteur qui bloquent au moins un robot IA, et les quatre robots les plus demandés.
| Secteur | robots.txt | Au moins un robot IA | GPTBot | ClaudeBot | PerplexityBot | Google-Extended |
|---|---|---|---|---|---|---|
| Tous les sites | 1 402 | 11,5 % | 7,8 % | 7,5 % | 5,8 % | 6,8 % |
| SaaS et logiciels | 123 | 7,3 % | 0,8 % | 0,8 % | 0 % | 0,8 % |
| Actualités et médias | 57 | 50,9 % | 38,6 % | 35,1 % | 31,6 % | 33,3 % |
| Universités | 47 | 0 % | 0 % | 0 % | 0 % | 0 % |
| E-commerce | 44 | 9,1 % | 6,8 % | 4,5 % | 0 % | 6,8 % |
| Banque et finance | 29 | 20,7 % | 13,8 % | 10,3 % | 10,3 % | 13,8 % |
| Secteur public | 23 | 8,7 % | 8,7 % | 4,3 % | 8,7 % | 4,3 % |
| Hôtels et chambres d'hôtes | 13 | 7,7 % | 7,7 % | 7,7 % | 0 % | 7,7 % |
| Automobile | 10 | 20 % | 20 % | 20 % | 10 % | 20 % |
| Restaurants(échantillon réduit) | 9 | 44,4 % | 22,2 % | 33,3 % | 22,2 % | 33,3 % |
| Télécoms et énergie(échantillon réduit) | 8 | 0 % | 0 % | 0 % | 0 % | 0 % |
| Voyages et transport(échantillon réduit) | 6 | 33,3 % | 0 % | 0 % | 0 % | 0 % |
| Agences immobilières(échantillon réduit) | 6 | 16,7 % | 16,7 % | 0 % | 0 % | 0 % |
| Agences web(échantillon réduit) | 4 | 0 % | 0 % | 0 % | 0 % | 0 % |
| Cabinets et professions libérales(échantillon réduit) | 2 | 0 % | 0 % | 0 % | 0 % | 0 % |
| Artisans et commerces locaux(échantillon réduit) | 2 | 0 % | 0 % | 0 % | 0 % | 0 % |
Le secteur est attribué par le classificateur d’AIVIS à partir du contenu de la page d’accueil : 410 des 1 832 domaines en ont un, les autres comptent dans les totaux mais pas dans ce tableau. Les secteurs de moins de 10 robots.txt sont grisés et marqués low_sample dans le jeu de données : trop peu nombreux pour représenter le secteur.
Méthodologie
- Échantillon : la dernière analyse de chaque domaine du corpus AIVIS (1 832 domaines, analysés entre le 19 sept. 2026 et le 8 nov. 2026). La base est constituée des 1 402 domaines qui servent un robots.txt (76,5 % du corpus) : un site sans robots.txt ne pose aucune restriction, et il est exclu des pourcentages plutôt que compté comme ouvert.
- Mesure : pour chacun des 17 jetons user-agent, le robots.txt est évalué selon les règles standard de correspondance des groupes (RFC 9309) — le groupe qui nomme le jeton, ou le groupe générique « User-agent: * » à défaut. Un robot est bloqué quand la racine du site « / » lui est interdite. Les règles qui ne ferment que certains dossiers ne comptent pas comme un blocage.
- La finalité suit la documentation de chaque opérateur : les robots d’entraînement collectent des données pour les modèles (GPTBot, ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent) ; les robots de recherche IA construisent l’index que citent les réponses (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ; les agents à la demande ouvrent une page quand une personne le demande à l’assistant (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot, Meta-ExternalFetcher). anthropic-ai est un jeton historique que beaucoup de robots.txt listent encore.
- Limites : le robots.txt est une déclaration, pas un blocage technique. Pare-feu et protections anti-bots des CDN peuvent refuser des robots que le robots.txt autorise, et certains robots l’ignorent ; ce rapport mesure uniquement la politique déclarée.
- Lien avec l’AI Readiness Index : l’Index mesure le blocage sur tous les domaines analysés, y compris ceux sans robots.txt ; ce rapport prend les robots.txt pour base, ses pourcentages sont donc plus élevés par définition. Tous deux sont recalculés en direct sur les mêmes analyses.
Télécharger le jeu de données
Les totaux, le taux de chaque robot et chaque ligne sectorielle de ce rapport, recalculés en direct à mesure que le corpus grandit.
Sous licence CC-BY 4.0 — réutilisation libre avec attribution à AIVIS.
Citer ainsi : AIVIS, AI Crawler Blocking Report 2026, https://aivis.lumnika.com/en/research/ai-crawler-blocking-2026
Votre site bloque-t-il les robots IA dont vous avez besoin ?
Vérifiez gratuitement en quelques secondes votre robots.txt face aux 13 robots IA et voyez quelle règle exclut chacun d’eux.