Generatore robots.txt per bot AI
Scegli quali crawler AI possono leggere il tuo sito e ottieni regole robots.txt pronte da incollare.
| User-agent | Operatore | Scopo | Consenti |
|---|---|---|---|
| GPTBot | OpenAI | Addestramento modelli | |
| OAI-SearchBot | OpenAI | Indice di ricerca AI | |
| ChatGPT-User | OpenAI | Richiesta dell'utente | |
| ClaudeBot | Anthropic | Addestramento modelli | |
| anthropic-ai | Anthropic | Addestramento modelli | |
| Claude-User | Anthropic | Richiesta dell'utente | |
| PerplexityBot | Perplexity | Indice di ricerca AI | |
| Perplexity-User | Perplexity | Richiesta dell'utente | |
| Google-Extended | Addestramento modelli | ||
| Applebot-Extended | Apple | Addestramento modelli | |
| CCBot | Common Crawl | Addestramento modelli | |
| Bytespider | ByteDance | Addestramento modelli | |
| Meta-ExternalAgent | Meta | Addestramento modelli |
# Regole per i crawler AI — da aggiungere al robots.txt esistente
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /Quali bot AI conviene bloccare?
I crawler di addestramento (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended) raccolgono pagine per addestrare i modelli futuri. Bloccarli tiene i tuoi contenuti fuori dai dataset e non ti toglie dalle risposte delle AI.
I crawler di ricerca (OAI-SearchBot, PerplexityBot) costruiscono l'indice che ChatGPT search e Perplexity citano. Bloccarli significa che le tue pagine non possono essere citate né linkate in quelle risposte.
I fetcher su richiesta (ChatGPT-User, Claude-User, Perplexity-User) caricano una pagina solo quando una persona chiede all'assistente di leggerla. Bloccarli rompe le risposte sul tuo stesso sito.
Incolla le regole nel robots.txt alla radice del dominio, accanto a quelle esistenti. Ogni crawler applica il gruppo che corrisponde al suo user-agent; le modifiche valgono dalla sua visita successiva.