EDU-Jev 4B puntúa trabajos de estudiantes con una precisión del 67,6% y supera a las API comerciales en 9,4 p. p.

Un grupo de King's College London (Jiazheng Li y Yulan He) ha presentado EDU-Jev, una familia de modelos compactos para la evaluación automática de trabajos académicos. Los modelos de 0,8B, 2B y 4B parámetros no redactan razonamientos: reciben el contexto de la tarea y una pregunta con opciones predefinidas, y devuelven en una única pasada directa una distribución de probabilidad sobre esas opciones. En doce benchmarks educativos, la versión 4B alcanzó una precisión media del 67,6%. Eso son 9,4 puntos porcentuales más que la más potente de cinco API comerciales para este tipo de decisiones y 18,7 puntos más que el mejor modelo abierto de 4B del mismo tipo.

Por qué la evaluación necesita un «sistema uno»

En educación, la mayoría de las decisiones tienen la misma forma: asignar a una respuesta entre 0 y 3 puntos según una rúbrica, comprobar si el texto cumple un criterio de verificación o localizar el primer paso erróneo de una solución. Las opciones se conocen de antemano. Los modelos generativos suelen resolverlo mediante un razonamiento seguido de una etiqueta final, y los autores señalan tres problemas de ese enfoque.

La respuesta hay que parsearla y puede salirse de las opciones admisibles. El coste crece con la longitud de la salida, y los modelos de razonamiento gastan muchos tokens incluso en casos sencillos. Además, la confianza expresada con palabras no tiene por qué coincidir con la probabilidad real de error, y es precisamente esa probabilidad la que hace falta para enviar los casos dudosos a revisión humana.

La interfaz de «decisiones tipadas» la introdujo antes la compañía TypeSafe AI en su modelo alojado Jev (en el artículo se probó mediante la API, versión 1.14). Para las comparaciones existe un conjunto público e independiente, JevBench. Según los autores, los equivalentes abiertos se entrenaron sobre todo con datos generales y rinden mal al evaluar con rúbrica.

Pointer head y etiquetas suaves

En lugar de una cabeza de lenguaje, EDU-Jev usa un pointer head. En la consulta, cada opción de respuesta va seguida de un token marcador, y al final se añade un token de decisión. Un MLP de dos capas con pesos compartidos lee el estado oculto de cada marcador y genera un logit; el softmax se calcula exactamente sobre las opciones declaradas. El modelo solo puede equivocarse en la elección, pero no puede emitir una respuesta inválida. En experimentos controlados con el 0,8B, una cabeza «de letras», que lee los logits de las etiquetas A/B/C, resultó significativamente peor y dio la misma respuesta 3,5 puntos menos veces al permutar las opciones.

El entrenamiento se hace en una sola etapa con entropía cruzada suave: el objetivo es la distribución de las puntuaciones de los anotadores, si había varios, y un one-hot en caso contrario. Como base se usó Qwen3.5 con ajuste fino completo.

El dataset contiene alrededor de 1,5 mil millones de tokens, o 4,6 millones de decisiones: evaluación de respuestas cortas y ensayos, verificación paso a paso de soluciones, errores de estudiantes y diálogos con tutores, sobre todo en inglés y chino. El esquema de learning rate de tipo warmup-stable-decay termina sobre un tramo final de la época que el modelo aún no ha visto, y los pesos finales se obtienen promediando tres checkpoints (a la mitad, a los tres cuartos y al final del entrenamiento). Según los autores, esto cuesta unas décimas de punto en datos de la distribución de entrenamiento y aporta cerca de un punto fuera de ella.

El aprendizaje por refuerzo sobre la salida del pointer no superó a la continuación del entrenamiento supervisado convencional.

Qué mostraron las mediciones y dónde está el límite

En 20 conjuntos, divididos en decisiones generales, razonamiento y educación, el modelo 4B obtuvo un 67,6%, frente al 45,2–48,9% de los modelos abiertos de 4B y al 49,2–58,2% de las API comerciales. Las versiones 2B y 0,8B lograron un 63,2% y un 62,8%, es decir, también superaron a todos los modelos de referencia en la media de educación. En cuatro conjuntos educativos de otros dominios, el 4B igualó a la mejor API. El modelo 2B procesa unas 150 decisiones por segundo en una sola H100.

El modelo no resultó universal. En decisiones generales, el 4B queda 3,2–6,7 p. p. por detrás de las API; en razonamiento, 2,2–3,7 p. p. por detrás de tres de ellas. Entre los modelos abiertos de 4B, igualó a JevK5-4B y quedó 1,3 puntos por debajo de OpenJev-4B. Aumentar el tamaño dio mayor ganancia en transferencia y razonamiento general que en precisión dentro del propio dominio de evaluación.

Hay también salvedades metodológicas. La calibración se comprobó de forma empírica mediante el error de calibración esperado (ECE) con 15 intervalos y sin ajuste de temperatura. Esto no es una garantía sobre datos nuevos. Los intervalos de confianza solo tienen en cuenta la muestra de tareas, no la variación entre ejecuciones. Parte de las etiquetas del entrenamiento es sintética: las generaron modelos de terceros. La evaluación sin rúbrica, respuesta de referencia o puntos clave no se admite de forma deliberada. Por último, el modelo no explica su puntuación, y en los escenarios donde se necesita una justificación para el estudiante o el profesor habrá que añadir una capa aparte.

Para los equipos que construyen sistemas de revisión automática de trabajos, la conclusión es práctica. Si las decisiones se reducen a elegir entre un conjunto fijo de opciones según una rúbrica, un modelo pequeño con salida tipada puede ser más preciso y más barato que un juez generativo. Las probabilidades sirven para derivar a una persona los casos inciertos.