robots.txt KI-Audit
Fügen Sie Ihre robots.txt ein und erfahren Sie Bot für Bot, ob ChatGPT, Claude, Perplexity und Gemini Ihre Seite lesen und zitieren können.
Warum robots.txt Ihre KI-Sichtbarkeit bestimmt
KI-Assistenten respektieren robots.txt pro User-Agent. Der häufige Fehler ist, alle KI-Bots gleichzeitig zu blockieren: Das Blockieren von Trainings-Crawlern hält Sie aus den Trainingsdaten heraus, aber das Blockieren von Such-Crawlern (OAI-SearchBot, PerplexityBot) und Benutzer-Abrufen (ChatGPT-User, Claude-User) entfernt Ihre Seiten aus den Antworten, die Menschen lesen. Dieses Audit wendet dieselben "Longest-Match"-Regeln an, die die Crawler verwenden, komplett in Ihrem Browser.