Un autor de Habr comprueba cuántas ediciones hacen falta para borrar la marca de agua de un LLM

Un autor de Habr se ha propuesto medir algo que hasta ahora se discute solo en teoría: cuánto hay que modificar un texto para que la marca de agua de un modelo de lenguaje deje de poder leerse. El motivo es la afirmación de que Claude ya marca su salida y de que OpenAI está implantando un mecanismo análogo. En la introducción se plantean cuatro preguntas, pero no hay resultados: el autor deja las mediciones para la parte principal. Las preguntas, eso sí, están bien elegidas y definen qué cabe esperar de las marcas en la práctica.

Cómo funciona la marca

Una marca de agua de texto no se esconde en los caracteres. Normalmente es un sesgo estadístico en la elección de tokens: una clave secreta determina a qué palabras da el modelo algo más de peso. El lector no percibe la diferencia. Un detector que dispone de la clave calcula la proporción de tokens «preferidos» y la compara con la esperable en un texto aleatorio. El esquema de listas «verdes» y «rojas» lo describieron en 2023 investigadores de la Universidad de Maryland, y Google lanzó después su propia variante, SynthID-Text.

La introducción no aclara qué esquema concreto usan Claude y OpenAI. El autor remite a dos análisis publicados en Habr que explican la mecánica con detalle, incluidos los métodos para eludirla.

De ahí se desprende la propiedad principal: la señal se acumula con la longitud. Una sola frase demuestra casi nada; un texto largo demuestra mucho. Cualquier sustitución de palabras diluye esa señal.

Las cuatro preguntas del experimento

• Profundidad de la reescritura. Cuánto hay que reescribir un «tochazo de neurobasura» para que el detector no lo marque con seguridad. La medida es la proporción de tokens modificados.
• Dos marcas a la vez. Si la reescritura la hace otro modelo, que también lleva marca de agua, ¿resulta un texto con dos huellas? ¿Con qué seguridad se detecta cada una?
• Texto humano con edición de IA. Corrección de errores y de puntuación, reescritura de un par de párrafos: dónde está el límite a partir del cual el texto se considera generado.
• Código. Dónde puede situarse la marca, si es que puede: en los comentarios, en paréntesis superfluos, en los nombres de variables.

La última pregunta es la más interesante desde el punto de vista técnico. Una marca estadística necesita libertad de elección: el modelo debe tener varias continuaciones casi equivalentes. En el texto hay muchos puntos así. En el código, la sintaxis y las API fijan de forma rígida la mayor parte de los tokens y queda menos espacio para el sesgo. Es un principio general de estos esquemas, no un resultado del autor. Si las mediciones lo confirman para los modelos comerciales, se sabrá en la parte principal.

Lo que aún no se sabe

Según el texto, los detectores para Claude y OpenAI no están todavía en acceso general. El autor parte de la base de que algún día aparecerán y de que entonces los textos ya escritos podrán comprobarse con carácter retroactivo. Ese es el principal riesgo que describe: un informe para un cliente, un trabajo científico o una prosa de la que usted responde personalmente.

La detección tiene también su reverso. Cualquier umbral de confianza produce falsos positivos, sobre todo en textos cortos y en textos con una ligera edición de un modelo. Por eso los resultados de las mediciones de la tercera pregunta importan no solo a quien quiere quitar la marca, sino también a quien puede ser acusado sin fundamento.

Conclusiones prácticas

Mientras no haya detectores públicos ni mediciones publicadas, lo razonable es actuar con calma y por adelantado.

• Conserve los borradores y el historial de ediciones. Es la mejor prueba de autoría, mejor que cualquier detector.
• Si trabaja con un cliente o una revista, averigüe de antemano su política sobre la ayuda de la IA y deje el acuerdo por escrito.
• No considere que el aviso de un detector sea una sentencia: la marca da una probabilidad, no una prueba.
• No conviene enviar datos confidenciales a modelos en la nube para «pulir» un texto, con independencia de las marcas de agua.
• Espere a la parte principal del experimento y contraste las conclusiones con la metodología: tamaño de la muestra, idioma de los textos, versiones de los modelos.

El experimento de Habr puede ofrecer las primeras referencias sobre los umbrales de edición. Por ahora son preguntas, no respuestas.