KI-Crawler-Blockade-Report 2026
Welche KI-Crawler sperren Websites aus, und welche lassen sie herein? Gemessen an 1.402 echten robots.txt-Dateien, nicht per Umfrage.
Stichprobe: 1.402 robots.txt-Dateien, von 1.832 gescannten Domains · Scans vom 19.09.2026 bis 08.11.2026 · Neu berechnet am 12.11.2026
Von den 1.402 robots.txt-Dateien, die AIVIS ausgewertet hat, sperren 11,5 % mindestens einen KI-Crawler für die gesamte Website, und 0 % sperren alle 17 erfassten Crawler. Die große Mehrheit lässt jeden KI-Crawler frei lesen.
Gesperrt wird vor allem das Modelltraining, weit seltener die Antworten: 11,5 % der Websites sperren mindestens einen Trainings-Crawler, aber nur 6 % einen KI-Such-Crawler und 5,8 % die Abrufe, die ein Assistent startet, wenn ein Nutzer ihn bittet, eine Seite zu öffnen. 4,9 % sperren ausschließlich Trainings-Crawler und lassen KI-Suche und Abrufe auf Anfrage offen.
Unter den Branchen mit ausreichend vielen Domains sperrt Nachrichten & Medien am häufigsten (50,9 % der robots.txt-Dateien schließen mindestens einen KI-Crawler aus) und Universitäten am seltensten (0 %).
Sperrquote nach Crawler
Anteil der 1.402 robots.txt-Dateien, die dem jeweiligen Crawler die gesamte Website verbieten.
| Crawler (User-Agent) | Betreiber | Zweck | Gesperrt von |
|---|---|---|---|
CCBot | Common Crawl | Modelltraining | 9,1 % |
Bytespider | ByteDance | Modelltraining | 8,8 % |
GPTBot | OpenAI | Modelltraining | 7,8 % |
ClaudeBot | Anthropic | Modelltraining | 7,5 % |
anthropic-ai | Anthropic | Modelltraining | 6,8 % |
Google-Extended | Modelltraining | 6,8 % | |
Applebot-Extended | Apple | Modelltraining | 6,8 % |
Meta-ExternalAgent | Meta | Modelltraining | 6,8 % |
PerplexityBot | Perplexity | KI-Suchindex | 5,8 % |
ChatGPT-User | OpenAI | Abruf auf Nutzeranfrage | 4,4 % |
Perplexity-User | Perplexity | Abruf auf Nutzeranfrage | 4,2 % |
Claude-User | Anthropic | Abruf auf Nutzeranfrage | 4 % |
OAI-SearchBot | OpenAI | KI-Suchindex | 3,3 % |
Claude-SearchBot | Anthropic | KI-Suchindex | 0,1 % |
DuckAssistBot | DuckDuckGo | Abruf auf Nutzeranfrage | 0,1 % |
MistralAI-User | Mistral | Abruf auf Nutzeranfrage | 0 % |
Meta-ExternalFetcher | Meta | Abruf auf Nutzeranfrage | 0 % |
KI-Crawler-Sperren nach Branche
Anteil der robots.txt-Dateien jeder Branche, die mindestens einen KI-Crawler sperren, und die vier meistgefragten Crawler.
| Branche | robots.txt | Mind. ein KI-Crawler | GPTBot | ClaudeBot | PerplexityBot | Google-Extended |
|---|---|---|---|---|---|---|
| Alle Websites | 1.402 | 11,5 % | 7,8 % | 7,5 % | 5,8 % | 6,8 % |
| SaaS & Software | 123 | 7,3 % | 0,8 % | 0,8 % | 0 % | 0,8 % |
| Nachrichten & Medien | 57 | 50,9 % | 38,6 % | 35,1 % | 31,6 % | 33,3 % |
| Universitäten | 47 | 0 % | 0 % | 0 % | 0 % | 0 % |
| E-Commerce | 44 | 9,1 % | 6,8 % | 4,5 % | 0 % | 6,8 % |
| Banken & Finanzen | 29 | 20,7 % | 13,8 % | 10,3 % | 10,3 % | 13,8 % |
| Öffentlicher Sektor | 23 | 8,7 % | 8,7 % | 4,3 % | 8,7 % | 4,3 % |
| Hotels & Pensionen | 13 | 7,7 % | 7,7 % | 7,7 % | 0 % | 7,7 % |
| Automotive | 10 | 20 % | 20 % | 20 % | 10 % | 20 % |
| Restaurants(kleine Stichprobe) | 9 | 44,4 % | 22,2 % | 33,3 % | 22,2 % | 33,3 % |
| Telekom & Versorger(kleine Stichprobe) | 8 | 0 % | 0 % | 0 % | 0 % | 0 % |
| Reisen & Verkehr(kleine Stichprobe) | 6 | 33,3 % | 0 % | 0 % | 0 % | 0 % |
| Immobilienmakler(kleine Stichprobe) | 6 | 16,7 % | 16,7 % | 0 % | 0 % | 0 % |
| Webagenturen(kleine Stichprobe) | 4 | 0 % | 0 % | 0 % | 0 % | 0 % |
| Kanzleien & Freiberufler(kleine Stichprobe) | 2 | 0 % | 0 % | 0 % | 0 % | 0 % |
| Handwerker & lokale Geschäfte(kleine Stichprobe) | 2 | 0 % | 0 % | 0 % | 0 % | 0 % |
Die Branche vergibt der AIVIS-Klassifikator anhand des Startseiteninhalts: 410 der 1.832 Domains haben eine, die übrigen zählen in den Gesamtwerten, aber nicht in dieser Tabelle. Branchen mit weniger als 10 robots.txt-Dateien sind ausgegraut und im Datensatz als low_sample markiert: zu wenige, um die Branche abzubilden.
Methodik
- Stichprobe: der jeweils letzte Scan jeder Domain im AIVIS-Korpus (1.832 Domains, gescannt zwischen 19.09.2026 und 08.11.2026). Basis sind die 1.402 Domains, die eine robots.txt ausliefern (76,5 % des Korpus): Eine Website ohne robots.txt setzt keinerlei Beschränkung und bleibt aus den Prozentwerten heraus, statt als offen gezählt zu werden.
- Messung: Für jedes der 17 User-Agent-Tokens wird die robots.txt nach den Standardregeln für Gruppenzuordnung (RFC 9309) ausgewertet — die Gruppe, die das Token nennt, oder sonst die allgemeine Gruppe „User-agent: *“. Ein Crawler gilt als gesperrt, wenn ihm das Stammverzeichnis „/“ verboten ist. Regeln, die nur einzelne Ordner sperren, zählen nicht als Sperre.
- Der Zweck folgt der Dokumentation des jeweiligen Betreibers: Trainings-Crawler sammeln Daten für Modelle (GPTBot, ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent); KI-Such-Crawler bauen den Index auf, den Antworten zitieren (OAI-SearchBot, Claude-SearchBot, PerplexityBot); Abrufe auf Nutzeranfrage öffnen eine Seite, wenn eine Person den Assistenten darum bittet (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot, Meta-ExternalFetcher). anthropic-ai ist ein älteres Token, das viele robots.txt-Dateien noch aufführen.
- Grenzen: Die robots.txt ist eine Erklärung, keine technische Sperre. Firewalls und Bot-Schutz von CDNs können Crawler abweisen, die die robots.txt erlaubt, und manche Crawler ignorieren sie; dieser Report misst nur die erklärte Richtlinie.
- Verhältnis zum AI Readiness Index: Der Index misst Sperren über alle gescannten Domains, auch über jene ohne robots.txt; dieser Report nimmt die robots.txt-Dateien als Basis, seine Prozentwerte sind daher per Definition höher. Beide werden live aus denselben Scans berechnet.
Datensatz herunterladen
Gesamtwerte, die Quote jedes Crawlers und jede Branchenzeile dieses Reports, live neu berechnet, während der Korpus wächst.
Lizenziert unter CC-BY 4.0 — frei nutzbar mit Nennung von AIVIS.
Zitieren als: AIVIS, AI Crawler Blocking Report 2026, https://aivis.lumnika.com/en/research/ai-crawler-blocking-2026
Sperrt Ihre Website die KI-Crawler aus, die Sie brauchen?
Prüfen Sie Ihre robots.txt kostenlos und in Sekunden gegen alle 13 KI-Crawler und sehen Sie, welche Regel welchen Crawler aussperrt.