La traducción y la edición con IA no engañaron a los detectores: Doumate subió la proporción de IA entre un 5 y un 25 %

Si le preguntas a un estudiante cómo «pasar el antiplagio», mencionará dos métodos: pedirle a un chatbot que edite el texto con un prompt especial o pasarlo por una traducción al inglés y de vuelta. La autora de este experimento, publicado en Habr, decidió comprobar si realmente funciona. Y, de paso, entender por qué los detectores a veces acusan trabajos perfectamente humanos.

Cómo se realizó el experimento

Se tomaron cinco textos de entre 11 y 12 mil caracteres. El primero es una solicitud de subvención de la autora de 2021 sobre plantas de tratamiento de aguas residuales. El segundo es su «gemelo», generado por Claude a partir del mismo encargo técnico. Los otros tres son trabajos de curso de 2024 y 2025 y un trabajo de fin de grado (VKR) de 2026 de una misma estudiante de filología. Todos los trabajos se defendieron con un «5» (la nota máxima).

Se aplicaron dos técnicas a los textos. La primera, edición con IA por parte de ChatGPT mediante un prompt: alternar la longitud de las frases, cambiar el orden de las palabras, evitar transiciones suaves y no tocar el sentido. La segunda, traducciones de Claude RU→EN, EN→RU y la doble RU→EN→RU. Se comprobaron con Doumate y GPTZero (modelo 4.1m). Antiplagiat se ejecutó solo de forma selectiva: una prueba completa resultaba demasiado cara.

Qué mostraron los detectores

GPTZero y Antiplagiat valoraron el texto humano como humano, 0 % IA, tras cualquier procesamiento. Doumate, en cambio, tras la doble traducción dio un 51,1 % de IA. La autora dice que encontró la causa y la eliminó, tras lo cual la puntuación cayó casi a cero. Promete dar detalles en un artículo aparte, así que por ahora hay que creerlo sin pruebas.

Con el texto de máquina la cosa es más aburrida para quienes quieren hacer trampa. Doumate redujo la proporción de IA menos de un 3 % tras cualquier retoque. GPTZero se movió más con la edición mediante prompt: la probabilidad de IA bajó un 38 %, casi a la mitad. Pero el veredicto de «generación» se mantuvo.

Una observación aparte se refiere al idioma. Doumate, de orientación rusa, detecta con seguridad la generación en ruso, pero valoró el texto generado en inglés como 0 % IA. GPTZero, al contrario, da 100 % en inglés y porcentajes menos precisos en ruso, aunque el veredicto es correcto. Cada detector funciona mejor en su idioma «nativo».

En los trabajos de curso reales, la proporción de IA según GPTZero subió del 0 % al 56 % en tres años, y según Doumate del 12,5 % al 70 %. El director académico dudaba del 70 % para el trabajo de fin de grado. La autora afirma que logró reducir de forma considerable esa puntuación sin cambiar el contenido. La «revisión» en estos trabajos elevó con más frecuencia la proporción de IA en Doumate entre un 5 y un 25 %, y solo en un caso la redujo un 3 %.

Limitaciones y conclusión práctica

No se trata de un estudio con una muestra representativa. Son cinco textos, una sola autora, las versiones de los detectores no se revelan por completo (la de Doumate no se indica) y las tablas con cifras exactas no se ven en el resumen. El mecanismo de los falsos positivos de Doumate no se explica y se pospone para el futuro. Por eso, las conclusiones deben considerarse una hipótesis, no un hecho probado.

Para quienes desarrollan o implantan este tipo de productos, hay tres cosas útiles. Primero, los detectores reaccionan de forma distinta a las correcciones: Doumate, tras la traducción, tomó un texto humano por uno de máquina, mientras que GPTZero no se dejó engañar. Segundo, el idioma del texto influye en la fiabilidad, y un detector para ruso no puede aplicarse a trabajos en inglés. Tercero, un solo porcentaje de IA no es motivo de sanción. Si la puntuación salta por un procesamiento leve, hay que verificarla con una segunda herramienta y una conversación con el autor.

Para los estudiantes, la conclusión de la autora es directa: una máquina no hará humano un texto. Para las universidades y los equipos de edtech es menos obvia: en lugar de un umbral en porcentaje, es mejor mirar la proporción de texto «humano» y usar varios detectores. Mientras no se publiquen las causas de los falsos positivos, la comprobación con Doumate debe considerarse una referencia, no una sentencia.