AI-Crawler-Protokollanalysator
Fügen Sie Ihr Server-Access-Log ein und sehen Sie, welche KI-Bots (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot…) Ihre Seite tatsächlich besuchen, wie oft und was sie lesen.
Wie Sie Ihr Protokoll für KI-Crawler lesen
Jeder KI-Assistent identifiziert sich mit einem User-Agent: Trainings‑Crawler (GPTBot, ClaudeBot, Google-Extended) sammeln Seiten für zukünftige Modelle, Such‑Crawler (OAI-SearchBot, PerplexityBot) bauen den Index auf, den Antworten zitieren, und Benutzer‑Fetcher (ChatGPT-User, Claude-User, Perplexity-User) laden eine Seite, wenn jemand danach fragt. Exportieren Sie die letzten Tage Ihres Nginx‑ oder Apache‑Access‑Logs, fügen Sie es hier ein und Sie sehen, welche davon Sie erreichen, welche Seiten sie lesen und ob Ihr Server ihnen mit Fehlern antwortet.