AEO/GEO-Referenz
Nachschlage-Ressourcen zu KI-Bots, robots.txt und llms.txt — direkt von unserer Scan-Engine generiert, immer aktuell.
KI-Bots: vollständige Liste der User-Agents
Alle bekannten KI-Crawler, wofür sie da sind und wie man sie in robots.txt verwaltet.
KI-freundliche robots.txt-Vorlage
Eine kommentierte robots.txt-Datei, die jeden bekannten KI-Bot explizit erlaubt.
Kommentiertes llms.txt-Beispiel
Eine echte llms.txt-Datei, Abschnitt für Abschnitt, mit der Erklärung jeder Zeile.