KI-Bot / KI-Crawler

Ein automatisches Programm, das eine Website im Auftrag eines KI-Systems besucht, um Inhalte für das Training zu sammeln oder Anfragen in Echtzeit zu beantworten. Identifiziert sich mit einem deklarierten User-Agent (z. B. GPTBot), den eine Website über robots.txt erlauben oder blockieren kann.