Generatore robots.txt per bot AI
Scegli quali crawler AI possono leggere il tuo sito e ottieni regole robots.txt pronte da incollare.
| User-agent | Operatore | Scopo | Consenti |
|---|---|---|---|
| GPTBot | OpenAI | Addestramento modelli | |
| OAI-SearchBot | OpenAI | Indice di ricerca AI | |
| ChatGPT-User | OpenAI | Richiesta dell'utente | |
| ClaudeBot | Anthropic | Addestramento modelli | |
| anthropic-ai | Anthropic | Addestramento modelli | |
| Claude-SearchBot | Anthropic | Indice di ricerca AI | |
| Claude-User | Anthropic | Richiesta dell'utente | |
| PerplexityBot | Perplexity | Indice di ricerca AI | |
| Perplexity-User | Perplexity | Richiesta dell'utente | |
| Google-Extended | Addestramento modelli | ||
| Applebot-Extended | Apple | Addestramento modelli | |
| MistralAI-User | Mistral | Richiesta dell'utente | |
| DuckAssistBot | DuckDuckGo | Richiesta dell'utente | |
| Meta-ExternalFetcher | Meta | Richiesta dell'utente | |
| CCBot | Common Crawl | Addestramento modelli | |
| Bytespider | ByteDance | Addestramento modelli | |
| Meta-ExternalAgent | Meta | Addestramento modelli |
# Regole per i crawler AI — da aggiungere al robots.txt esistente
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: MistralAI-User
Allow: /
User-agent: DuckAssistBot
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /Ottieni il report completo di visibilità AI del tuo sito
Questo strumento controlla una cosa sola. La scansione completa controlla tutto ciò che guardano ChatGPT, Perplexity, Gemini e Claude, gli dà un punteggio e ricontrolla il tuo sito ogni mese via email. Gratis, senza account.
Solo email su questo dominio, niente spam. Disiscrizione in qualsiasi momento.
Ti serve un monitoraggio quotidiano, più siti o report white-label? Vedi i pianiQuali bot AI conviene bloccare?
I crawler di addestramento (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended) raccolgono pagine per addestrare i modelli futuri. Bloccarli tiene i tuoi contenuti fuori dai dataset e non ti toglie dalle risposte delle AI.
I crawler di ricerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) costruiscono l'indice che ChatGPT search e Perplexity citano. Bloccarli significa che le tue pagine non possono essere citate né linkate in quelle risposte.
I fetcher su richiesta (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot, Meta-ExternalFetcher) caricano una pagina solo quando una persona chiede all'assistente di leggerla. Bloccarli rompe le risposte sul tuo stesso sito.
Incolla le regole nel robots.txt alla radice del dominio, accanto a quelle esistenti. Ogni crawler applica il gruppo che corrisponde al suo user-agent; le modifiche valgono dalla sua visita successiva.