Editar el 10% de las palabras reduce la detección de la marca de agua de OpenAI del 92% al 66%

Una marca de agua para texto suena a solución cómoda: el modelo marca de forma invisible su respuesta y un detector especial determina después su origen. En la práctica, todo se reduce a un problema de producto conocido: el usuario no está obligado a publicar la respuesta sin cambios. La acorta, reordena frases, la traduce o pide a otro modelo que reescriba el texto. Tras ese procesamiento, la señal oculta se debilita rápidamente.

OpenAI ha presentado textGrain, un método diseñado, entre otras cosas, para cumplir los requisitos del artículo 50 de la AI Act europea. En las pruebas de la compañía, detectó la marca en cerca del 95% de los textos de 400 tokens, pero solo en el 80% de los textos de 200 tokens. La edición es aún más reveladora: sustituir el 10% de las palabras por sinónimos redujo la detección en fragmentos de 400 tokens del 92% al 66%, y sustituir el 25% de las palabras, al 17%.

Cómo recibe un texto una marca invisible

En cada paso, un modelo de lenguaje elige la siguiente palabra, o parte de ella, entre varias opciones probables. Por ejemplo, tras la frase «hoy el tiempo es…» puede continuar con «cálido» o «fresco». La marca de agua, mediante una clave secreta, influye ligeramente en esa elección. Para el lector la respuesta parece normal, pero en la secuencia de palabras aparece un patrón estadístico conocido por el detector.

La particularidad de textGrain es el control de la entropía, es decir, de la reserva de variabilidad admisible. El desarrollador define cuánta libertad se puede gastar en incrustar la señal, y el sistema intenta equilibrar la visibilidad de la marca para el detector con la naturalidad de la respuesta. No es un sello ni una anotación en cada frase: la confianza surge solo cuando se acumulan suficientes indicios estadísticos.

De ahí el problema de los mensajes cortos. En una respuesta de un par de frases, simplemente pueden no bastar los datos. Con la tasa declarada de falsos positivos del 1%, el detector marcará por error aproximadamente uno de cada cien textos sin marca de agua. Además, un resultado positivo no indica cuánto escribió una persona, y uno negativo no demuestra autoría humana.

Por qué una edición normal rompe la verificación

La señal depende no solo de una palabra concreta, sino también de la secuencia que la precede. Si un editor sustituye una palabra, pueden cambiar de golpe varios tramos siguientes del patrón estadístico. Por eso incluso una corrección de estilo tranquila, sin intención de engañar al sistema, empeora notablemente la detección.

Imaginemos un servicio que genera una descripción de producto de 150 palabras. Un responsable cambia el titular, recorta repeticiones y sustituye una decena de formulaciones. El texto sigue siendo en su mayor parte obra del modelo, pero el detector ya puede devolver un resultado negativo. El error inverso también duele: al revisar miles de trabajos de estudiantes o solicitudes, un 1% de falsos positivos se convierte en decenas de sospechas infundadas.

Todavía no existe una evaluación independiente de textGrain. OpenAI ha dado acceso a un grupo limitado de investigadores, que aún deben comprobar distintos idiomas, temas y longitudes. La afirmación de la compañía de que es comparable o superior a Google SynthID Text tampoco está confirmada por pruebas externas.

Qué deben hacer desarrolladores y productos

Las normas europeas exigen un marcado legible por máquina del contenido sintético que sea eficaz, interoperable, robusto y fiable en la medida en que sea técnicamente posible. Pero todavía no hay umbrales medibles para estas características. El código de buenas prácticas voluntario, por su parte, no exige marcas de agua para textos de menos de 200 tokens.

La conclusión práctica es sencilla: no se debe convertir el resultado del detector en el único motivo para bloquear, acusar o sancionar. En un producto generativo es mejor combinar varios niveles de procedencia: marca de agua, metadatos firmados, identificador del modelo, registro de generación y etiquetado explícito en la interfaz. Los casos dudosos requieren revisión manual y posibilidad de apelación.

Los desarrolladores deberían probar por separado escenarios reales de uso: abreviación, traducción, corrección de estilo, sustitución de palabras y regeneración. Una métrica sobre texto de laboratorio intacto dice poco sobre cómo funciona la función tras la publicación. textGrain parece una señal adicional útil, pero no un detector universal de la verdad, y el producto debe diseñarse precisamente con esa limitación en mente.