EDU-Jev 4B note les copies d'élèves avec 67,6% de précision et devance les API commerciales de 9,4 points

Une équipe du King's College London (Jiazheng Li et Yulan He) présente EDU-Jev, une famille de modèles compacts dédiés à la correction automatique de travaux scolaires. Les modèles de 0,8B, 2B et 4B paramètres ne rédigent aucun raisonnement : ils reçoivent le contexte de l'exercice et une question assortie d'options prédéfinies, puis renvoient en une seule passe avant une distribution de probabilités sur ces options. Sur douze benchmarks éducatifs, la version 4B atteint une précision moyenne de 67,6%. C'est 9,4 points de pourcentage de plus que la plus performante des cinq API commerciales pour ce type de décisions, et 18,7 points de plus que le meilleur modèle ouvert de 4B du même type.

Pourquoi l'évaluation relève du « système 1 »

Dans l'éducation, la plupart des décisions suivent le même schéma : attribuer de 0 à 3 points à une réponse selon une grille d'évaluation, vérifier si un critère de contrôle figure dans le texte, repérer la première étape erronée d'une résolution. Les options sont connues à l'avance. Les modèles génératifs procèdent généralement par raisonnement, puis produisent une étiquette finale.

Les auteurs identifient trois problèmes dans cette approche. Il faut analyser (parser) la réponse, qui peut sortir du cadre des options admises. Le coût augmente avec la longueur de la sortie, et les modèles de raisonnement consomment beaucoup de tokens, même pour des cas simples.

Enfin, une confiance exprimée en mots ne correspond pas forcément à la probabilité réelle d'erreur, alors que c'est précisément cette probabilité qu'il faut pour envoyer les cas douteux à une vérification humaine.

L'interface de « décisions typées » avait déjà été introduite par la société TypeSafe AI dans son modèle hébergé Jev (testé dans l'article via l'API, en version 1.14). Pour la comparaison, il existe un jeu de test public et indépendant, JevBench. Selon les auteurs, les alternatives ouvertes sont surtout entraînées sur des données généralistes et peinent à évaluer selon une grille.

Pointer head et étiquettes souples

Au lieu d'une tête de langage, EDU-Jev utilise un pointer head. Dans la requête, chaque option de réponse est suivie d'un token marqueur, et un token de décision clôt l'ensemble. Un MLP à deux couches, aux poids partagés, lit l'état caché de chaque marqueur et produit un logit ; le softmax est calculé exactement sur les options déclarées. Le modèle peut se tromper dans son choix, mais il ne peut pas produire de réponse invalide. Lors d'expériences contrôlées sur le 0,8B, une tête « à lettres », qui lit les logits des étiquettes A/B/C, s'est révélée nettement moins bonne et donnait 3,5 points de moins de réponses identiques lorsque l'ordre des options était permuté.

L'entraînement se déroule en une seule étape, avec une entropie croisée souple : la cible est la distribution des notes des annotateurs lorsqu'il y en avait plusieurs, et un one-hot sinon. La base est Qwen3.5, avec fine-tuning complet.

Le jeu de données compte environ 1,5 milliard de tokens, soit 4,6 millions de décisions : évaluation de réponses courtes et de dissertations, vérification pas à pas de résolutions, erreurs d'élèves, dialogues avec des tuteurs, principalement en anglais et en chinois. Le calendrier de learning rate de type warmup-stable-decay se termine sur une fin d'époque que le modèle n'a pas encore vue, et les poids finaux sont obtenus en moyennant trois checkpoints (à la moitié, aux trois quarts et à la fin de l'entraînement). Selon les auteurs, cela coûte quelques dixièmes de point sur des données issues de la distribution d'entraînement et rapporte environ un point en dehors.

L'apprentissage par renforcement sur la sortie du pointer n'a pas dépassé la poursuite d'un entraînement supervisé classique.

Ce que montrent les mesures, et leurs limites

Sur 20 jeux de données répartis entre décisions générales, raisonnement et éducation, le modèle 4B obtient 67,6%, contre 45,2–48,9% pour les modèles ouverts de 4B et 49,2–58,2% pour les API commerciales. Les versions 2B et 0,8B atteignent 63,2% et 62,8% : elles devancent donc aussi tous les modèles de référence en moyenne sur l'éducation. Sur quatre jeux éducatifs issus d'autres domaines, le 4B rejoint la meilleure API. Le modèle 2B traite environ 150 décisions par seconde sur une seule H100.

Le modèle n'est pas devenu universel. Sur les décisions générales, le 4B reste derrière les API de 3,2 à 6,7 points de pourcentage ; en raisonnement, il est derrière trois d'entre elles de 2,2 à 3,7 points de pourcentage. Parmi les modèles ouverts de 4B, il égale JevK5-4B et cède 1,3 point à OpenJev-4B. L'augmentation de la taille a produit un gain plus important en transfert et en raisonnement général que sur la précision dans le domaine d'évaluation lui-même.

Il existe aussi des réserves méthodologiques. La calibration a été vérifiée de manière empirique, par l'erreur de calibration attendue (ECE) sur 15 intervalles et sans ajustement de température. Ce n'est pas une garantie sur de nouvelles données. Les intervalles de confiance ne tiennent compte que de l'échantillon d'exercices, pas de la variabilité entre exécutions. Une partie des étiquettes d'entraînement est synthétique : elles ont été produites par des modèles tiers. L'évaluation sans grille, sans réponse de référence ni points clés n'est volontairement pas prise en charge. Enfin, le modèle n'explique pas sa note, et les scénarios qui exigent une justification pour l'élève ou l'enseignant nécessiteront une couche supplémentaire distincte.

Pour les équipes qui construisent une correction automatique, la conclusion est pratique. Si les décisions se ramènent à un choix dans un ensemble fixe selon une grille, un petit modèle à sortie typée peut être plus précis et moins coûteux qu'un juge génératif. Les probabilités permettent d'acheminer les cas incertains vers un humain.