Generador de robots.txt para IA
Elige qué rastreadores de IA pueden leer tu sitio y obtén reglas robots.txt listas para pegar.
| User-agent | Operador | Finalidad | Permitir |
|---|---|---|---|
| GPTBot | OpenAI | Entrenamiento de modelos | |
| OAI-SearchBot | OpenAI | Índice de búsqueda IA | |
| ChatGPT-User | OpenAI | Petición del usuario | |
| ClaudeBot | Anthropic | Entrenamiento de modelos | |
| anthropic-ai | Anthropic | Entrenamiento de modelos | |
| Claude-User | Anthropic | Petición del usuario | |
| PerplexityBot | Perplexity | Índice de búsqueda IA | |
| Perplexity-User | Perplexity | Petición del usuario | |
| Google-Extended | Entrenamiento de modelos | ||
| Applebot-Extended | Apple | Entrenamiento de modelos | |
| CCBot | Common Crawl | Entrenamiento de modelos | |
| Bytespider | ByteDance | Entrenamiento de modelos | |
| Meta-ExternalAgent | Meta | Entrenamiento de modelos |
# Reglas para rastreadores de IA — añádelas a tu robots.txt actual
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /¿Qué bots de IA conviene bloquear?
Los rastreadores de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended) recopilan páginas para entrenar modelos futuros. Bloquearlos deja tu contenido fuera de los datos de entrenamiento y no te saca de las respuestas de la IA.
Los rastreadores de búsqueda (OAI-SearchBot, PerplexityBot) construyen el índice que citan ChatGPT search y Perplexity. Bloquearlos significa que tus páginas no pueden citarse ni enlazarse en esas respuestas.
Las peticiones del usuario (ChatGPT-User, Claude-User, Perplexity-User) cargan una página solo cuando una persona pide al asistente que la lea. Bloquearlas rompe las respuestas sobre tu propio sitio.
Pega las reglas en el robots.txt de la raíz de tu dominio, junto a las existentes. Cada rastreador aplica el grupo de su user-agent; los cambios valen desde su próxima visita.