Un modèle affiné de 0,8 milliard de paramètres surpasse GPT-5.4 en annotation grammaticale

L'équipe d'une plateforme d'apprentissage de l'anglais a affiné de petits modèles de langage Qwen3.5 et lancé la version de 0,8 milliard de paramètres pour tous les élèves du service. Le modèle lit les transcriptions de cours et annote les concepts grammaticaux, à partir desquels est construit un tracker de maîtrise de la grammaire. Sur deux benchmarks annotés à la main, ce modèle et la version de référence de 4B surpassent GPT-5.4 et GPT-5.6 Sol, utilisés avec des prompts, à la fois en précision et en rappel. Le coût de service a baissé d'environ 16 fois. Dans une expérimentation en ligne, l'engagement des élèves a progressé de 15,8%.

Quel problème il fallait résoudre

Le feedback correctif figure parmi les facteurs d'acquisition d'une langue seconde les mieux étayés. Mais en cours, les corrections sont énoncées puis se perdent dans le flux de la conversation. Elles ne dessinent pas de tableau d'ensemble : quelles constructions l'élève maîtrise déjà avec assurance, et où il se trompe encore et encore. Les modèles frontier savent extraire ce tableau des transcriptions des échanges entre l'élève et l'enseignant. À l'échelle de toute la plateforme, c'est cher, car chaque cours devient une longue requête adressée à un modèle coûteux.

Les auteurs ont opté pour le fine-tuning. Ils ont pris des annotations générées par des modèles enseignants, les ont filtrées et ont rééquilibré les classes pour que les concepts grammaticaux rares ne se perdent pas. Ils ont ensuite affiné Qwen3.5 dans deux tailles sur ces données.

Le contrat est dans les poids, pas dans le prompt

La principale astuce d'ingénierie : les règles d'annotation sont inscrites dans les poids de l'adaptateur. Avec des modèles pilotés par prompt, il faut renvoyer à chaque fois une instruction détaillée : ce qui compte comme un concept, comment délimiter le fragment justificatif, quand une réponse est jugée correcte. Ici, l'instruction est intégrée à l'entraînement. Le modèle de 0,8B fonctionne donc avec un prompt compact et cohérent. L'économie joue sur deux postes à la fois : le modèle est plus petit et le contexte d'entrée plus court.

La comparaison s'est faite selon des critères imbriqués, de plus en plus stricts :

• correspondance du concept ;
• correspondance du fragment de texte sur lequel s'appuie l'annotation (evidence span) ;
• exactitude de l'évaluation elle-même.

Sur ces trois niveaux, les deux modèles affinés, le 0,8B de production et le 4B de comparaison, obtiennent une précision et un rappel supérieurs à ceux de GPT-5.4 et GPT-5.6 Sol. Le coût de service du modèle 0,8B est inférieur d'environ 16 fois.

L'effet a aussi été testé sur le produit. Dans une expérimentation en ligne au niveau de la fonctionnalité, les résultats sont les suivants :

• engagement des élèves : +15,8% ;
• heures de cours planifiées : +2,1% ;
• GMV des nouveaux cours : +13,2%.

Ce que l'abstract ne dit pas

L'abstract ne précise pas plusieurs points importants : les valeurs absolues de précision et de rappel, la taille du jeu d'entraînement, la durée et le design de l'expérimentation en ligne. La plateforme n'est pas nommée, et l'on ignore quels modèles ont généré les annotations d'entraînement. Les modèles frontier ont été comparés avec des prompts, sans fine-tuning spécifique à la tâche. Les benchmarks sont propres au domaine : le résultat ne peut donc pas être transposé à n'importe quelle annotation de texte. Seul un preprint est publié, et il n'existe pas encore de vérification indépendante.

Ce qu'on peut en retenir en pratique

La tâche est ici étroite et se répète des millions de fois : produire une sortie structurée selon un schéma clair. C'est précisément dans ce type de cas qu'un petit modèle spécialisé l'emporte sur un modèle généraliste. Si une équipe dispose d'un format de réponse stable et d'un flux de requêtes homogènes, il est judicieux de calculer ce que coûte la variante frontier pilotée par prompt sur le volume réel, puis de la comparer à un modèle affiné de 1–4B paramètres.

La marche à suivre décrite dans l'article est la suivante : d'abord collecter des annotations avec un modèle puissant, puis les filtrer et rééquilibrer la distribution des classes, ensuite affiner un adaptateur et réduire le prompt au minimum. Mieux vaut évaluer le résultat sur des critères imbriqués, comme dans ce travail, afin de voir où le modèle perd en qualité : dans le choix de la classe, dans l'ancrage dans le texte ou dans l'évaluation finale. Pour le déploiement, mieux vaut passer par une expérimentation en ligne avec des métriques business plutôt que de s'appuyer sur un seul benchmark hors ligne.