Un modelo afinado de 0,8 mil millones de parámetros supera a GPT-5.4 en el etiquetado de gramática

El equipo de una plataforma educativa para estudiantes de inglés afinó modelos de lenguaje pequeños de Qwen3.5 y lanzó la versión de 0,8 mil millones de parámetros para todos los usuarios del servicio. El modelo lee las transcripciones de las clases y etiqueta conceptos gramaticales, a partir de los cuales se construye un tracker de dominio de la gramática. En dos benchmarks con anotación manual, este modelo y la versión de referencia de 4B superaron a GPT-5.4 y GPT-5.6 Sol, a los que se evaluó con prompts, tanto en precisión como en exhaustividad. El coste del servicio bajó unas 16 veces. En un experimento online, el engagement de los alumnos creció un 15,8%.

Qué problema abordaban

La retroalimentación correctiva figura entre los factores mejor documentados en la adquisición de una segunda lengua. Pero en clase las correcciones se pronuncian y se pierden en el flujo del habla. No permiten formarse una imagen clara de qué estructuras domina ya el alumno con seguridad y en cuáles se equivoca una y otra vez. Los modelos frontier saben extraer esa imagen de las transcripciones de los diálogos entre alumno y profesor. A la escala de toda una plataforma, sin embargo, resulta caro: cada clase se convierte en una consulta larga a un modelo costoso.

Los autores lo resolvieron con fine-tuning. Tomaron anotaciones generadas por modelos maestros, las filtraron y reequilibraron las clases para que los conceptos gramaticales poco frecuentes no se perdieran. Con esos datos afinaron Qwen3.5 en dos tamaños.

El contrato, en los pesos y no en el prompt

El principal truco de ingeniería consiste en que las reglas de anotación están escritas en los pesos del adaptador. Los modelos basados en prompts necesitan recibir cada vez una instrucción detallada: qué se considera un concepto, cómo se señala el fragmento que lo respalda, cuándo se da una respuesta por correcta. Aquí la instrucción se "incorporó" al entrenamiento. Por eso, con el modelo de 0,8B basta un prompt compacto y coherente. El ahorro llega por dos vías a la vez: el modelo es más pequeño y el contexto de entrada, más corto.

La comparación se hizo con criterios anidados de rigor creciente:

• coincidencia del concepto;
• coincidencia del fragmento de texto en el que se apoya la anotación (evidence span);
• corrección de la propia valoración.

En los tres niveles, las dos variantes afinadas, la de 0,8B en producción y la de 4B como referencia, lograron mayor precisión y exhaustividad que GPT-5.4 y GPT-5.6 Sol. Servir el modelo de 0,8B cuesta unas 16 veces menos.

El efecto también se comprobó en el producto. En un experimento online a nivel de función se obtuvieron estos resultados:

• engagement de los alumnos: +15,8%;
• horas de clase programadas: +2,1%;
• GMV de las nuevas clases: +13,2%.

Qué no dice el resumen

El abstract no revela varias cuestiones importantes: los valores absolutos de precisión y exhaustividad, el tamaño del conjunto de entrenamiento, ni la duración y el diseño del experimento online. Tampoco nombra la plataforma ni aclara qué modelos concretos generaron las anotaciones de entrenamiento. Los modelos frontier participaron en la comparación con prompts, sin fine-tuning propio para la tarea. Los benchmarks son de dominio, así que el resultado no puede extrapolarse a cualquier etiquetado de texto. Se ha publicado un preprint y todavía no hay verificación independiente.

Qué se puede llevar a la práctica

La tarea es acotada y se repite millones de veces: una salida estructurada con un esquema claro. Es justo en este tipo de casos donde un modelo pequeño y especializado gana a uno generalista. Si un equipo tiene un formato de respuesta estable y un flujo de consultas homogéneas, conviene calcular cuánto cuesta la opción frontier con prompts sobre el volumen real y compararla con un modelo afinado de 1–4B parámetros.

El procedimiento que describe el artículo es este: primero, recopilar anotaciones con un modelo potente; después, filtrarlas y equilibrar la distribución de clases; luego, afinar un adaptador y reducir el prompt al mínimo. Conviene evaluar el resultado con criterios anidados, como en el trabajo, para ver dónde pierde calidad el modelo: en la elección de la clase, en el anclaje al texto o en la valoración final. Y es preferible desplegarlo mediante un experimento online con métricas de negocio, y no a partir de un único benchmark offline.