Bloquear el entrenamiento de IA en robots.txt sin perder citas

Un robots.txt pensado para la IA es un archivo robots.txt que nombra los rastreadores de cada empresa de IA según el trabajo que hacen: así una web rechaza el entrenamiento de modelos y sigue siendo legible para los bots de búsqueda y de respuesta que hay detrás de ChatGPT, Claude, Perplexity y las funciones de IA de Google. Lo necesitas desde el día en que decides que tu contenido no debe entrenar modelos pero sí seguir apareciendo citado. El error habitual es una sola regla que bloquea a la vez todos los user agents de IA, y con ellos la visibilidad para la que existe la web.
El arreglo cabe en un archivo y en una decisión por empresa. A continuación: qué bot hace qué en noviembre de 2026, el archivo que usamos, lo que robots.txt no puede frenar y la nueva línea contra el entrenamiento que está redactando el IETF.
Por qué una regla de «bloquear toda la IA» te cuesta citas
Cada gran empresa de IA usa hoy más de un bot, y cada bot responde a su propia línea en robots.txt. OpenAI lo dice sin rodeos: cada ajuste es independiente, así que una web puede admitir a OAI-SearchBot para salir en los resultados de búsqueda y bloquear a GPTBot para dejar su contenido fuera del entrenamiento (OpenAI, resumen de sus rastreadores). Si bloqueas también a OAI-SearchBot, la web desaparece de las respuestas de ChatGPT search; según OpenAI, solo puede seguir apareciendo como enlace de navegación.
Anthropic describe la misma división. Desactivar Claude-SearchBot puede reducir la visibilidad y la precisión de la web en los resultados de búsqueda, y desactivar Claude-User impide que Claude lea tus páginas cuando un usuario pregunta por ellas (Anthropic, controles de robots.txt).
Las ganas de bloquear tienen una causa real. Cloudflare informa de que en junio de 2026 el 52% de las peticiones de rastreadores que vio eran para entrenar IA, frente al 22% de la primavera de 2025, mientras que el rastreo solo para búsqueda es una parte pequeña y cada vez menor (Cloudflare, Content Independence Day, un año después). El tráfico de entrenamiento consume ancho de banda y devuelve pocas visitas. El de búsqueda es el que te cita. Un bloqueo total los trata como una sola cosa.
Qué bots de IA entrenan, cuáles buscan y cuáles leen para un usuario
Cada empresa reparte sus bots entre tres trabajos: recoger datos de entrenamiento, construir un índice de búsqueda y leer una página porque una persona ha hecho una pregunta. Los nombres que conviene conocer, sacados de la documentación de cada una:
- OpenAI. GPTBot recoge contenido que puede entrenar sus modelos. OAI-SearchBot indexa páginas para ChatGPT search. ChatGPT-User visita una página cuando la pregunta de un usuario lo necesita, y OpenAI dice que las reglas de robots.txt «pueden no aplicarse».
- Anthropic. ClaudeBot recoge datos de entrenamiento. Claude-SearchBot indexa páginas para las respuestas de búsqueda. Claude-User lee páginas para la pregunta de un usuario, y Anthropic lo incluye entre los bots que respetan robots.txt.
- Google. Google-Extended es un token de control sin rastreador propio: Google rastrea con sus user agents de siempre, y el token decide si ese contenido puede entrenar los modelos Gemini y fundamentar las respuestas en Gemini Apps y Vertex AI (Google, rastreadores comunes). AI Overviews y AI Mode forman parte de la Búsqueda y siguen a Googlebot.
- Perplexity. PerplexityBot indexa páginas para los resultados de Perplexity y, según la empresa, no recoge datos de entrenamiento. Perplexity-User lee páginas para la pregunta de un usuario y «en general ignora las reglas de robots.txt» (Perplexity, rastreadores).
Dos de ellos son trampas. Google-Extended parece el interruptor de las respuestas de IA de Google, y no lo es. Y los lectores que activa un usuario quedan en parte fuera de robots.txt, así que el archivo no puede prometer lo que quien gestiona una web suele esperar de él.
El robots.txt que bloquea el entrenamiento y deja abierta la búsqueda con IA
La RFC 9309, el estándar de robots.txt, admite varias líneas user-agent en un mismo grupo, así que el archivo se queda corto (RFC 9309, Robots Exclusion Protocol). Esta es la versión de la que partimos:
# Entrenamiento: no
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
# Bots de búsqueda y de respuesta: sí
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Todos los demás, Googlebot incluido
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlImportan tres detalles. Un rastreador sigue el grupo que lo nombra e ignora el genérico, así que GPTBot lee el primer grupo y se salta el asterisco. Las reglas van por host: Anthropic pide el archivo en cada subdominio que quieras cubrir. Y OpenAI dice que un cambio tarda unas 24 horas en llegar a sus sistemas de búsqueda; Perplexity habla de 24 horas como máximo.
Hay un compromiso que conviene decidir a propósito. Bloquear Google-Extended también frena el grounding en Gemini Apps, que es otro sitio donde se dan respuestas. Si las citas en Gemini te importan más que quedarte fuera de su entrenamiento, saca Google-Extended del primer grupo.
Lo que robots.txt no puede hacer por las respuestas de IA
El estándar lo dice de forma explícita: estas reglas no son una forma de autorización de acceso. Una línea de robots.txt es una petición que los rastreadores declarados eligen respetar. De ahí salen cuatro límites.
- Los lectores que activa un usuario. ChatGPT-User y Perplexity-User pueden leer una página aunque haya un disallow, porque la ha pedido una persona. Para frenarlos hace falta una regla de firewall o un inicio de sesión, y entonces la página también sale de esas respuestas.
- Las AI Overviews de Google. Google dice que el control sobre la Búsqueda, funciones de IA incluidas, son las reglas de robots.txt para Googlebot. Para limitar lo que aparece ahí remite a nosnippet, data-nosnippet, max-snippet y noindex (Google, las funciones de IA y tu web). Bloquear a Googlebot te saca de la Búsqueda por completo.
- Un firewall delante del archivo. Si la CDN bloquea los bots de IA antes de que lleguen a la web, el allow de robots.txt nunca se lee. Cloudflare bloquea por defecto los rastreadores de IA conocidos en los dominios nuevos; nuestra guía para desbloquear los rastreadores de IA en Cloudflare explica cómo.
- User agents falsos. Cualquiera puede poner «GPTBot» en una cabecera. OpenAI, Anthropic y Perplexity publican sus rangos de IP, y una línea del log solo cuenta si su IP está en la lista.
La nueva línea contra el entrenamiento: __usage_ai-training
Nombrar los bots uno a uno tiene un límite: cada nuevo rastreador de entrenamiento pide una línea más. El 30 de octubre de 2026 un borrador del IETF, en el grupo de trabajo AI Preferences, propuso una señal general escrita como un grupo normal de robots.txt con un token reservado (IETF, Machine-Readable Training Preference Signal):
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Ese grupo dice no al entrenamiento de IA en todas partes salvo en la carpeta de prensa. Expresa una preferencia de uso: el borrador aclara que el token no regula el rastreo, y un grupo con asterisco nunca cuenta como coincidencia. Anthropic empezó a respetar la señal ese mismo día y considera más específica una regla que nombra a ClaudeBot. Google dice que piensa admitirla a principios de 2027.
Nuestro consejo, de momento: añade el grupo con el token y mantén también los grupos que nombran a los bots de entrenamiento. El borrador va por la versión 00 y puede cambiar, y hoy lo lee una sola empresa.
Cómo se aplica en la práctica
Pongamos un SaaS con una web de documentación pública y un blog. Quiere que Claude y ChatGPT citen su documentación cuando un cliente pregunta cómo integrar el producto, y no quiere sus textos en el próximo conjunto de entrenamiento. Nosotros haríamos esto:
- Sacamos una semana de logs de acceso y contamos las peticiones de cada user agent de IA, quedándonos solo con las que tienen una IP de la lista que publica la empresa (openai.com/gptbot.json, openai.com/searchbot.json y las demás).
- Revisamos los ajustes de bots de la CDN, para que no bloquee un bot que el archivo admite.
- Publicamos el archivo de arriba con el grupo __usage_ai-training añadido, en el dominio principal y en el subdominio de la documentación.
- Abrimos /robots.txt en los dos hosts y luego miramos los logs: GPTBot y ClaudeBot se paran en robots.txt, mientras OAI-SearchBot y Claude-SearchBot siguen leyendo páginas.
Todo el cambio es un archivo por host y una tarde leyendo logs. Lo difícil es la decisión detrás de cada línea, y esa le toca a quien es dueño del contenido. Para la otra mitad del trabajo, conseguir que citen de verdad las páginas que dejas abiertas, lee cómo conseguir que Google AI Overviews y ChatGPT te citen.
Preguntas frecuentes
No. GPTBot solo recoge contenido que puede entrenar los modelos de OpenAI. Que tus páginas salgan en las respuestas de ChatGPT search depende de OAI-SearchBot, al que puedes seguir admitiendo mientras bloqueas a GPTBot. OpenAI documenta los dos ajustes como independientes y dice que un cambio tarda unas 24 horas en llegar a sus sistemas de búsqueda. ChatGPT-User, que abre una página cuando un usuario lo pide, puede leerla igualmente.
No. AI Overviews y AI Mode forman parte de la Búsqueda de Google y las rastrea Googlebot; Google dice que Google-Extended no afecta a la presencia en la Búsqueda. Google-Extended controla el entrenamiento de los modelos Gemini y el grounding en Gemini Apps y Vertex AI. Para limitar lo que las AI Overviews muestran de una página, Google remite a nosnippet, data-nosnippet, max-snippet y noindex, que también limitan la página en los resultados normales.
Sí. Las reglas de robots.txt funcionan por rutas, así que un grupo puede bloquear / y admitir una carpeta como /press-kit/ o /docs/. Gana la ruta coincidente más larga, como fija la RFC 9309. El nuevo token __usage_ai-training del borrador del IETF de octubre de 2026 usa las mismas reglas para expresar una preferencia de entrenamiento por carpeta. Hoy lo lee Anthropic; para las demás empresas hay que seguir nombrando sus bots de entrenamiento.
Es una petición, y el estándar lo dice: sus reglas no son una forma de autorización de acceso. Los rastreadores documentados de OpenAI, Anthropic, Google y Perplexity dicen que lo respetan, pero los lectores que activa un usuario pueden no hacerlo, y una cabecera puede hacerse pasar por cualquier bot. Solo el contenido detrás de un inicio de sesión o de una regla de firewall queda de verdad fuera del alcance de un rastreador. Si entrenar con contenido público es legal en tu mercado es una pregunta para un abogado, y robots.txt no la responde.
Artículos relacionados
2 de mayo de 2026 · 12 min de lectura
28 de octubre de 2026 · 9 min de lectura
9 de agosto de 2026 · 6 min de lectura