robots.txt no impide el entrenamiento de IA: qué bots bloquear para seguir apareciendo en las respuestas

Muchos propietarios de sitios añaden a robots.txt una línea Disallow para GPTBot y están seguros de haber cerrado sus textos a ChatGPT. Gary Illyes, de Google, recordó que no es así. El archivo resuelve una sola cuestión: si el robot puede descargar la página. Lo que el sistema hace después con el contenido, no lo determina.

Qué hace realmente Disallow

El estándar RFC 9309 describe robots.txt como un conjunto de preferencias de acceso. Es un cartel de «se ruega no entrar»: un robot educado no cruzará la puerta, pero el cartel no dice nada de lo que ya vio. Por eso una línea nueva solo afecta a los rastreos futuros. Las páginas descargadas antes permanecen en los datos de entrenamiento.

El estándar no incluye una directiva general para «prohibir toda la IA». Google solo entiende User-Agent, Allow, Disallow y Sitemap, e ignora las líneas inventadas. Para cerrar el paso a un rastreador concreto solo hay que nombrar su token.

Tres robots en lugar de uno

OpenAI y Anthropic dividen sus bots por tareas:

• entrenamiento: GPTBot y ClaudeBot;
• búsqueda del servicio: OAI-SearchBot y Claude-SearchBot;
• consulta del usuario: ChatGPT-User y Claude-User.

Los ajustes son independientes. Se puede bloquear GPTBot y seguir en la búsqueda de ChatGPT mediante OAI-SearchBot. Pero OpenAI aclara que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, y Anthropic advierte: si desactiva Claude-User, Claude no podrá abrir su página a petición del usuario y la visibilidad caerá.

En Google, el entrenamiento se separa con el token Google-Extended. Influye en el entrenamiento de Gemini y en el grounding (la entrega de la página al modelo durante la respuesta), pero no en la Búsqueda normal. Por eso bloquearlo puede costar un puesto en las respuestas de Gemini. Applebot-Extended y CCBot funcionan de forma parecida: el primero decide si se pueden entrenar los modelos de Apple con datos de Applebot; el segundo cierra el acceso a Common Crawl.

En Rusia la elección es más pobre. Para no aparecer en las respuestas rápidas de Alice AI, Yandex aconseja bloquear YandexAdditional y YandexAdditionalBot; los cambios se tienen en cuenta en 2–14 días. No existe un token solo para entrenamiento, y un YandexBot bloqueado elimina el sitio también de la búsqueda. Sber no publica el nombre del robot de GigaChat, así que no se puede nombrar en el archivo.

Un archivo típico de «no entrenar, pero mostrar» es así: en el primer grupo, User-agent para GPTBot, ClaudeBot, CCBot y Applebot-Extended con Disallow: /. Los tokens de búsqueda y de usuario se permiten aparte mediante Allow: /.

Quién ignora las reglas y qué hacer

No todos obedecen. En agosto de 2025, Cloudflare mostró que Perplexity, al ser bloqueado, cambia su user agent y su ASN (número de red), y a veces ni siquiera solicita robots.txt. El robot se presentaba como Chrome en macOS, y así ocurría en decenas de miles de dominios. El más obediente en la misma prueba fue ChatGPT-User.

Puede comprobar sus bots en el log: grep -E "GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User" access.log. Mire si el robot solicitó /robots.txt y si visitó secciones cerradas después de aparecer Disallow. La suplantación del token no se detecta así, por lo que busque solicitudes con user-agent de navegador que van al mismo ritmo a las mismas páginas. Contra esos bots hace falta protección frente a solicitudes automáticas en el servidor o en la CDN, por ejemplo en Cloudflare. En cambio, el bloqueo por IP puede fallar con Anthropic: el robot no leerá robots.txt y la negativa no funcionará.

Hay otras palancas: la metaetiqueta nosnippet de Apple, el protocolo TDMRep con el parámetro tdm-reservation=1, que tiene peso legal en la UE, y Pay Per Crawl de Cloudflare, en beta cerrada.

Qué viene después

Desde el 30 de octubre de 2026, Anthropic reconoce una señal general: User-agent __usage_ai-training con Disallow: /. Google planea admitir el mismo AIPREF a principios de 2027 y, según la lectura de Lab Leaders, podría equipararlo a Google-Extended, lo que de nuevo supone un riesgo para las respuestas de Gemini. El estándar del IETF con la regla Content-Usage sigue siendo un borrador.

La conclusión práctica es sencilla. Primero decida de qué se protege: del entrenamiento o de la aparición en las respuestas. Bloquee los bots de entrenamiento por su nombre, deje abiertos los de búsqueda y los de usuario, y verifique el resultado en los logs del servidor.