Un detector casero de «neuroslop» detecta con código 5 de 12 señales de texto escrito por IA

El autor de un artículo en Habr ordenó 12 señales de «neuroslop», es decir, texto que generó una red neuronal y que nadie revisó, según las comprobaciones de su propio detector. El código detecta cinco señales, y dos de ellas solo en parte. Las otras siete dependen únicamente de reglas para el editor. En la prueba, el script dejó pasar dos frases introductorias típicas: «En este artículo vamos a examinar» y «La conclusión es simple» con dos puntos.

Por qué un porcentaje global no arregla nada

Los detectores en línea responden con un número y no explican qué falla exactamente en el texto. El propio porcentaje no es fiable. En el trabajo de Liang y coautores, siete detectores clasificaron como escritos por máquina, de media, el 61% de los ensayos TOEFL redactados por personas cuya lengua materna no es el inglés. Un detector así se equivoca de forma sistemática cuando el autor escribe con cuidado y cautela, porque lo interpreta como señal de «máquina».

OpenAI cerró su clasificador de texto de IA en el verano de 2023 por su baja precisión. Si el propio desarrollador de los modelos no logró crear una herramienta fiable de uso general, es difícil esperarla de un servicio cualquiera que devuelve un porcentaje.

Una comprobación acotada en lugar de un veredicto

El autor elige otro enfoque. El script señala la frase concreta y la regla que la activó, y cada detección se puede discutir por separado. El editor no ve «este texto está escrito en un 73% por IA», sino «esta frase introductoria y esta regla».

Los editores de Wikipedia siguen la misma lógica. Mantienen una lista abierta de señales de texto de IA y dicen claramente que una señal apunta a un posible problema y por sí sola no demuestra nada. El script parte del mismo supuesto: busca rastros de texto sin revisar y no determina la autoría. La puntuación global de este detector ya se analizó por separado en Habr.

El reparto en cifras

• Total de señales de «neuroslop» en el análisis: 12.
• Las detecta el código: 5, de ellas 2 en parte.
• Quedan solo para el editor: 7.
• No detectadas en la prueba: «En este artículo vamos a examinar» y «La conclusión es simple:».
• Falsos positivos según Liang y coautores: de media, el 61% de los ensayos TOEFL de personas cuya lengua materna no es el inglés.
• El clasificador de OpenAI se cerró en el verano de 2023.

Dónde está la frontera entre el código y el editor

El anuncio no enumera las 12 señales; el análisis completo está bajo el corte. Pero las dos frases que se escaparon muestran el panorama general. Incluso las introducciones de plantilla, que parecen el blanco ideal para una expresión regular, se cuelan si cambia la forma: otro verbo, un signo de puntuación, el orden de las palabras. Es mi lectura, no una conclusión del autor, pero resulta lógica. El código es fiable cuando la señal está en la superficie y se repite literalmente. Las señales que exigen entender el sentido quedan para la persona: la generalización vacía, la falta de concreción, un párrafo del que se puede quitar la mitad de las palabras sin perder nada.

Cómo aplicarlo en la práctica

Si montas una comprobación para una redacción o para tu propio blog, el análisis aporta varias reglas.

• Divide las señales en dos listas: lo que comprueba el script y lo que comprueba una persona. No intentes meterlo todo en el código.
• Cada detección debe mostrar la frase y la regla. Así el editor puede aceptarla o rechazarla en segundos.
• Amplía el diccionario con los fallos. Las dos frases que se escaparon son una tarea lista para la siguiente iteración.
• No uses el resultado como prueba de autoría. Ten especial cuidado con los textos de autores cuya lengua materna no es el inglés: los errores de los detectores les afectan más.
• Mantén la revisión como paso obligatorio. El script reduce el trabajo manual, pero no lo sustituye.

La conclusión es simple: una comprobación que se explica es más útil que un veredicto que hay que creerse sin más.