Los modelos pequeños de Qwen ignoran las instrucciones, pero parecen precisos en los tests

En julio de 2026, un grupo de investigadores publicó en arXiv un trabajo que muestra que los modelos de lenguaje pequeños de Qwen siguen siendo precisos en las tareas, pero ignoran de forma sistemática las instrucciones que contradicen su comportamiento habitual. La métrica estándar de precisión oculta por completo ese fallo.

Qué comprobaron los autores

El instruction tuning sirve para que el modelo cumpla las peticiones del usuario, pero no está claro si los modelos pequeños obedecen cuando la orden choca con su comportamiento habitual. Los autores tomaron modelos Qwen con instruction tuning de distintos tamaños y los enfrentaron a una instrucción «contraria» en tres tipos de tareas.

A la tarea estándar le añadían una instrucción conflictiva: elegir una opción claramente incorrecta en un test de opción múltiple, dar el sentimiento opuesto en un análisis de sentimiento o devolver el resultado duplicado en un problema matemático. Este diseño entre tareas permitía comprobar si la resistencia está ligada a una tarea concreta o si es un rasgo de comportamiento más general.

• Tres tareas: selección de respuesta (MCQA), clasificación de sentimiento y problemas matemáticos
• Instrucción conflictiva: elegir la opción incorrecta, dar el sentimiento opuesto o duplicar la respuesta
• Tres métricas: standard accuracy, non-standard accuracy e Instruction-Following Failure Rate (IFFR)
• Modelos: Qwen con instruction tuning de varios tamaños

Por qué la precisión engaña

La clave del diseño es que todas las respuestas se contrastan con la solución correcta original. Un modelo que ignora la instrucción «contraria» y resuelve la tarea como siempre parece exitoso según la métrica estándar, aunque no haya cumplido la orden del usuario. Es contraintuitivo: dos modelos con la misma puntuación de precisión en un benchmark pueden comportarse de forma totalmente distinta si se les da una orden que va contra lo esperado. Por eso, un informe basado solo en la precisión estándar esconde los fallos al seguir instrucciones, y los autores introducen una métrica propia, IFFR, para detectarlos.

Qué mostraron los resultados

Los resultados varían según el tamaño del modelo. Los modelos pequeños de Qwen seguían siendo competentes, es decir, resolvían la tarea original, pero ignoraban de forma rutinaria la instrucción no estándar. Los modelos grandes mostraban una brecha nítida entre los dos modos: cambiaban de verdad a la orden «contraria» con mucha más frecuencia.

Tanto la precisión estándar como el seguimiento de instrucciones mejoraban en general con la escala del modelo, pero, según señalan los autores, el patrón no era constante entre tareas y datasets. Aumentar el tamaño no garantizaba la obediencia por igual en todos los casos.

«La competencia en la tarea y el seguimiento de instrucciones son

capacidades distintas, y un informe basado solo en la precisión estándar oculta los fallos de seguimiento de instrucciones», se afirma en el resumen del estudio en arXiv.

Qué significa

Para quienes despliegan modelos pequeños, la conclusión es práctica: una puntuación alta en un benchmark no significa que el modelo vaya a hacer exactamente lo que se le pide. Que mejore la capacidad de resolver tareas no da automáticamente un control fiable del comportamiento, así que conviene medir la obediencia por separado, con una métrica como IFFR, en lugar de deducirla de la precisión global. Para aplicaciones donde importan la controlabilidad y la seguridad, es un argumento más para probar el modelo con órdenes conflictivas y no solo con tareas de referencia.

Preguntas frecuentes

¿Qué es el Instruction-Following Failure Rate (IFFR)?

IFFR es una métrica propuesta por los autores que mide la proporción de casos en los que el modelo no cumplió la instrucción dada. A diferencia de la precisión estándar, muestra específicamente los fallos al seguir la orden, no la calidad con que se resuelve la tarea.

¿Por qué el modelo parece preciso pero no obedece?

Porque en el experimento las respuestas se contrastan con la solución correcta original. Si el modelo ignoró la instrucción «contraria», por ejemplo «elige la opción incorrecta», y resolvió la tarea como siempre, la métrica estándar lo cuenta como un éxito, aunque el modelo haya incumplido la orden del usuario.