Un detector de «neurobasura» hecho a mano detecta con código 5 de las 12 señales de un texto de IA

El autor de un artículo en Habr desglosó 12 señales de «neurobasura» (texto que ha generado una red neuronal y que nadie ha revisado) según las comprobaciones de su propio detector. El código detecta cinco señales, y dos de ellas solo en parte. Las otras siete dependen únicamente de reglas para el editor. En la prueba, el script dejó pasar dos frases introductorias típicas: «В этой статье мы рассмотрим» («En este artículo veremos») y «Вывод простой» («La conclusión es simple») con dos puntos.

Por qué un porcentaje global no arregla nada

Los detectores en línea responden con un número y no explican qué falla exactamente en el texto. El propio porcentaje no es fiable. En el trabajo de Liang y coautores, siete detectores clasificaron como textos de máquina, en promedio, el 61% de los ensayos TOEFL escritos por personas cuya lengua materna no es el inglés. Un detector así se equivoca de forma sistemática justo cuando el autor escribe con cuidado y prudencia, algo que él interpreta como señal de «maquinalidad».

OpenAI cerró su clasificador de texto de IA en el verano de 2023 por su baja precisión. Si el propio desarrollador de los modelos no logró crear una herramienta fiable de uso general, es difícil esperarlo de un servicio cualquiera que devuelve un porcentaje.

Una comprobación acotada en lugar de un veredicto

El autor opta por otro planteamiento. El script señala la frase concreta y la regla que la activó, de modo que cada detección se puede discutir por separado. El editor no ve «el texto está escrito en un 73% por IA», sino «esta frase introductoria y esta regla».

Los editores de Wikipedia siguen la misma lógica. Mantienen una lista abierta de señales de texto de IA y afirman de forma explícita que una señal apunta a un posible problema y que, por sí sola, no demuestra nada. El script parte de ese mismo supuesto: busca huellas de un texto sin revisar y no determina la autoría. La puntuación global de este detector ya se analizó por separado en Habr.

El reparto en cifras

• Total de señales de neurobasura en el análisis: 12.
• Las detecta el código: 5, de ellas 2 en parte.
• Quedan solo en manos del editor: 7.
• Se escaparon en la prueba: «В этой статье мы рассмотрим» y «Вывод простой:».
• Falsos positivos según Liang y coautores: en promedio, el 61% de los ensayos TOEFL de personas cuya lengua materna no es el inglés.
• El clasificador de OpenAI se cerró en el verano de 2023.

Dónde está la frontera entre el código y el editor

El anuncio no enumera las 12 señales; el análisis completo está bajo el corte. Pero las dos frases que se escaparon dan una idea del panorama general. Incluso las introducciones de plantilla, que parecen el blanco perfecto para una expresión regular, se cuelan si cambia la forma: otro verbo, un signo de puntuación, el orden de las palabras.

Esta es mi lectura y no una conclusión del autor, pero es lógica. El código es fiable cuando la señal está en la superficie y se repite literalmente. Las señales que exigen entender el sentido quedan en manos de una persona: la generalización vacía, la falta de datos concretos, el párrafo del que se puede quitar la mitad de las palabras sin perder nada.

Cómo aplicarlo en la práctica

Si construyes un sistema de revisión para una redacción o para tu propio blog, del análisis se pueden extraer varias reglas.

• Divide las señales en dos listas: las que comprueba el script y las que comprueba una persona. No intentes meterlo todo en código.
• Cada detección debe mostrar la frase y la regla. Así el editor puede aceptarla o rechazarla en segundos.
• Amplía el diccionario con lo que se escapa. Las dos frases que pasaron de largo son una tarea lista para la siguiente iteración.
• No uses el resultado como prueba de autoría. Hay que ser especialmente cuidadoso con los textos de autores cuya lengua materna no es la del texto: los errores de los detectores les perjudican más que a nadie.
• Mantén la revisión humana como paso obligatorio. El script reduce el trabajo manual, pero no lo sustituye.

La conclusión es simple: una comprobación que explica su resultado es más útil que un veredicto que hay que aceptar por fe.