Generador de robots.txt para IA
Elige qué rastreadores de IA pueden leer tu sitio y obtén reglas robots.txt listas para pegar.
| User-agent | Operador | Finalidad | Permitir |
|---|---|---|---|
| GPTBot | OpenAI | Entrenamiento de modelos | |
| OAI-SearchBot | OpenAI | Índice de búsqueda IA | |
| ChatGPT-User | OpenAI | Petición del usuario | |
| ClaudeBot | Anthropic | Entrenamiento de modelos | |
| anthropic-ai | Anthropic | Entrenamiento de modelos | |
| Claude-SearchBot | Anthropic | Índice de búsqueda IA | |
| Claude-User | Anthropic | Petición del usuario | |
| PerplexityBot | Perplexity | Índice de búsqueda IA | |
| Perplexity-User | Perplexity | Petición del usuario | |
| Google-Extended | Entrenamiento de modelos | ||
| Applebot-Extended | Apple | Entrenamiento de modelos | |
| MistralAI-User | Mistral | Petición del usuario | |
| DuckAssistBot | DuckDuckGo | Petición del usuario | |
| Meta-ExternalFetcher | Meta | Petición del usuario | |
| CCBot | Common Crawl | Entrenamiento de modelos | |
| Bytespider | ByteDance | Entrenamiento de modelos | |
| Meta-ExternalAgent | Meta | Entrenamiento de modelos |
# Reglas para rastreadores de IA — añádelas a tu robots.txt actual
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: MistralAI-User
Allow: /
User-agent: DuckAssistBot
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /Obtén el informe completo de visibilidad en IA de tu sitio
Esta herramienta revisa una sola cosa. El análisis completo revisa todo lo que miran ChatGPT, Perplexity, Gemini y Claude, le pone una puntuación y vuelve a revisar tu sitio cada mes por email. Gratis, sin cuenta.
Solo emails sobre este dominio, sin spam. Date de baja cuando quieras.
¿Necesitas monitorización diaria, más sitios o informes white-label? Ver planes¿Qué bots de IA conviene bloquear?
Los rastreadores de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent, Applebot-Extended) recopilan páginas para entrenar modelos futuros. Bloquearlos deja tu contenido fuera de los datos de entrenamiento y no te saca de las respuestas de la IA.
Los rastreadores de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) construyen el índice que citan ChatGPT search y Perplexity. Bloquearlos significa que tus páginas no pueden citarse ni enlazarse en esas respuestas.
Las peticiones del usuario (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, DuckAssistBot, Meta-ExternalFetcher) cargan una página solo cuando una persona pide al asistente que la lea. Bloquearlas rompe las respuestas sobre tu propio sitio.
Pega las reglas en el robots.txt de la raíz de tu dominio, junto a las existentes. Cada rastreador aplica el grupo de su user-agent; los cambios valen desde su próxima visita.