Ir al contenido

Bloquear el entrenamiento de IA en robots.txt sin perder citas

Infra · 21 de noviembre de 2026 · 7 min de lectura

A dark board seen at an angle: six small tiles on the left, three lit and three dark; lines from the lit ones run through a tall sheet of text lines in the middle to a large lit tile on the right, while the lines from the dark ones stop at the sheet against short bars

Un robots.txt pensado para la IA es un archivo robots.txt que nombra los rastreadores de cada empresa de IA según el trabajo que hacen: así una web rechaza el entrenamiento de modelos y sigue siendo legible para los bots de búsqueda y de respuesta que hay detrás de ChatGPT, Claude, Perplexity y las funciones de IA de Google. Lo necesitas desde el día en que decides que tu contenido no debe entrenar modelos pero sí seguir apareciendo citado. El error habitual es una sola regla que bloquea a la vez todos los user agents de IA, y con ellos la visibilidad para la que existe la web.

El arreglo cabe en un archivo y en una decisión por empresa. A continuación: qué bot hace qué en noviembre de 2026, el archivo que usamos, lo que robots.txt no puede frenar y la nueva línea contra el entrenamiento que está redactando el IETF.

Por qué una regla de «bloquear toda la IA» te cuesta citas

Cada gran empresa de IA usa hoy más de un bot, y cada bot responde a su propia línea en robots.txt. OpenAI lo dice sin rodeos: cada ajuste es independiente, así que una web puede admitir a OAI-SearchBot para salir en los resultados de búsqueda y bloquear a GPTBot para dejar su contenido fuera del entrenamiento (OpenAI, resumen de sus rastreadores). Si bloqueas también a OAI-SearchBot, la web desaparece de las respuestas de ChatGPT search; según OpenAI, solo puede seguir apareciendo como enlace de navegación.

Anthropic describe la misma división. Desactivar Claude-SearchBot puede reducir la visibilidad y la precisión de la web en los resultados de búsqueda, y desactivar Claude-User impide que Claude lea tus páginas cuando un usuario pregunta por ellas (Anthropic, controles de robots.txt).

Las ganas de bloquear tienen una causa real. Cloudflare informa de que en junio de 2026 el 52% de las peticiones de rastreadores que vio eran para entrenar IA, frente al 22% de la primavera de 2025, mientras que el rastreo solo para búsqueda es una parte pequeña y cada vez menor (Cloudflare, Content Independence Day, un año después). El tráfico de entrenamiento consume ancho de banda y devuelve pocas visitas. El de búsqueda es el que te cita. Un bloqueo total los trata como una sola cosa.

Qué bots de IA entrenan, cuáles buscan y cuáles leen para un usuario

Cada empresa reparte sus bots entre tres trabajos: recoger datos de entrenamiento, construir un índice de búsqueda y leer una página porque una persona ha hecho una pregunta. Los nombres que conviene conocer, sacados de la documentación de cada una:

  • OpenAI. GPTBot recoge contenido que puede entrenar sus modelos. OAI-SearchBot indexa páginas para ChatGPT search. ChatGPT-User visita una página cuando la pregunta de un usuario lo necesita, y OpenAI dice que las reglas de robots.txt «pueden no aplicarse».
  • Anthropic. ClaudeBot recoge datos de entrenamiento. Claude-SearchBot indexa páginas para las respuestas de búsqueda. Claude-User lee páginas para la pregunta de un usuario, y Anthropic lo incluye entre los bots que respetan robots.txt.
  • Google. Google-Extended es un token de control sin rastreador propio: Google rastrea con sus user agents de siempre, y el token decide si ese contenido puede entrenar los modelos Gemini y fundamentar las respuestas en Gemini Apps y Vertex AI (Google, rastreadores comunes). AI Overviews y AI Mode forman parte de la Búsqueda y siguen a Googlebot.
  • Perplexity. PerplexityBot indexa páginas para los resultados de Perplexity y, según la empresa, no recoge datos de entrenamiento. Perplexity-User lee páginas para la pregunta de un usuario y «en general ignora las reglas de robots.txt» (Perplexity, rastreadores).

Dos de ellos son trampas. Google-Extended parece el interruptor de las respuestas de IA de Google, y no lo es. Y los lectores que activa un usuario quedan en parte fuera de robots.txt, así que el archivo no puede prometer lo que quien gestiona una web suele esperar de él.

El robots.txt que bloquea el entrenamiento y deja abierta la búsqueda con IA

La RFC 9309, el estándar de robots.txt, admite varias líneas user-agent en un mismo grupo, así que el archivo se queda corto (RFC 9309, Robots Exclusion Protocol). Esta es la versión de la que partimos:

# Entrenamiento: no
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Bots de búsqueda y de respuesta: sí
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Todos los demás, Googlebot incluido
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Importan tres detalles. Un rastreador sigue el grupo que lo nombra e ignora el genérico, así que GPTBot lee el primer grupo y se salta el asterisco. Las reglas van por host: Anthropic pide el archivo en cada subdominio que quieras cubrir. Y OpenAI dice que un cambio tarda unas 24 horas en llegar a sus sistemas de búsqueda; Perplexity habla de 24 horas como máximo.

Hay un compromiso que conviene decidir a propósito. Bloquear Google-Extended también frena el grounding en Gemini Apps, que es otro sitio donde se dan respuestas. Si las citas en Gemini te importan más que quedarte fuera de su entrenamiento, saca Google-Extended del primer grupo.

Lo que robots.txt no puede hacer por las respuestas de IA

El estándar lo dice de forma explícita: estas reglas no son una forma de autorización de acceso. Una línea de robots.txt es una petición que los rastreadores declarados eligen respetar. De ahí salen cuatro límites.

  1. Los lectores que activa un usuario. ChatGPT-User y Perplexity-User pueden leer una página aunque haya un disallow, porque la ha pedido una persona. Para frenarlos hace falta una regla de firewall o un inicio de sesión, y entonces la página también sale de esas respuestas.
  2. Las AI Overviews de Google. Google dice que el control sobre la Búsqueda, funciones de IA incluidas, son las reglas de robots.txt para Googlebot. Para limitar lo que aparece ahí remite a nosnippet, data-nosnippet, max-snippet y noindex (Google, las funciones de IA y tu web). Bloquear a Googlebot te saca de la Búsqueda por completo.
  3. Un firewall delante del archivo. Si la CDN bloquea los bots de IA antes de que lleguen a la web, el allow de robots.txt nunca se lee. Cloudflare bloquea por defecto los rastreadores de IA conocidos en los dominios nuevos; nuestra guía para desbloquear los rastreadores de IA en Cloudflare explica cómo.
  4. User agents falsos. Cualquiera puede poner «GPTBot» en una cabecera. OpenAI, Anthropic y Perplexity publican sus rangos de IP, y una línea del log solo cuenta si su IP está en la lista.

La nueva línea contra el entrenamiento: __usage_ai-training

Nombrar los bots uno a uno tiene un límite: cada nuevo rastreador de entrenamiento pide una línea más. El 30 de octubre de 2026 un borrador del IETF, en el grupo de trabajo AI Preferences, propuso una señal general escrita como un grupo normal de robots.txt con un token reservado (IETF, Machine-Readable Training Preference Signal):

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Ese grupo dice no al entrenamiento de IA en todas partes salvo en la carpeta de prensa. Expresa una preferencia de uso: el borrador aclara que el token no regula el rastreo, y un grupo con asterisco nunca cuenta como coincidencia. Anthropic empezó a respetar la señal ese mismo día y considera más específica una regla que nombra a ClaudeBot. Google dice que piensa admitirla a principios de 2027.

Nuestro consejo, de momento: añade el grupo con el token y mantén también los grupos que nombran a los bots de entrenamiento. El borrador va por la versión 00 y puede cambiar, y hoy lo lee una sola empresa.

Cómo se aplica en la práctica

Pongamos un SaaS con una web de documentación pública y un blog. Quiere que Claude y ChatGPT citen su documentación cuando un cliente pregunta cómo integrar el producto, y no quiere sus textos en el próximo conjunto de entrenamiento. Nosotros haríamos esto:

  1. Sacamos una semana de logs de acceso y contamos las peticiones de cada user agent de IA, quedándonos solo con las que tienen una IP de la lista que publica la empresa (openai.com/gptbot.json, openai.com/searchbot.json y las demás).
  2. Revisamos los ajustes de bots de la CDN, para que no bloquee un bot que el archivo admite.
  3. Publicamos el archivo de arriba con el grupo __usage_ai-training añadido, en el dominio principal y en el subdominio de la documentación.
  4. Abrimos /robots.txt en los dos hosts y luego miramos los logs: GPTBot y ClaudeBot se paran en robots.txt, mientras OAI-SearchBot y Claude-SearchBot siguen leyendo páginas.

Todo el cambio es un archivo por host y una tarde leyendo logs. Lo difícil es la decisión detrás de cada línea, y esa le toca a quien es dueño del contenido. Para la otra mitad del trabajo, conseguir que citen de verdad las páginas que dejas abiertas, lee cómo conseguir que Google AI Overviews y ChatGPT te citen.

Preguntas frecuentes

Artículos relacionados

¿Prefieres que lo hagamos nosotros?

Diseñamos y desarrollamos este tipo de trabajo para clientes. Cuéntanos qué necesitas.