Le framework AICG de NC State réduit de 50,3% la MAE pour la notation des réponses mathématiques

Une équipe du département d'informatique de l'Université d'État de Caroline du Nord propose AICG, un framework de notation automatique des réponses mathématiques courtes. Les modèles de notation classiques (ASAG) fondés sur des transformeurs apprennent à prédire une note, et rien d'autre. AICG y ajoute une évaluation des compétences de l'étudiant et une correction pour l'aide probable d'une IA générative. Sur 49 402 réponses corrigées par des enseignants sur 19 semestres, l'erreur absolue moyenne (MAE) baisse de 50,3% par rapport à une régression sur RoBERTa. Le kappa pondéré quadratique (QWK, qui mesure l'accord entre le modèle et l'enseignant en tenant compte de la gravité des écarts) passe de 0,798 à 0,927.

Pourquoi une seule note ne suffit pas

Une réponse mathématique mêle texte, formules et calculs inachevés. Les points partiels récompensent le raisonnement montré, pas seulement le résultat final. Les auteurs donnent un exemple : un étudiant applique correctement deux fois l'indépendance conditionnelle, puis s'arrête avant la règle de Bayes et écrit qu'il ne sait pas comment poursuivre. La note enregistre les points obtenus, mais ne dit pas quelle compétence a fait défaut. Deux réponses de même note peuvent cacher des niveaux de compréhension différents, et un modèle entraîné uniquement sur une étiquette scalaire généralise moins bien à des schémas de résolution inédits.

AICG repose donc sur deux branches partageant un encodeur RoBERTa commun. La première évalue chaque réponse avec trois têtes : la régression produit une note continue, la tête ordinale une note ordonnée, la tête de classification l'une des cinq catégories. La note finale provient de la tête ordinale.

La seconde branche utilise une Q-matrice établie par des experts, qui relie chaque exercice à des compétences vérifiables (dix au total). Grâce à elle, le modèle prédit la maîtrise de chaque compétence avant et après le cours, ainsi que le gain de connaissances. Les valeurs cibles sont calculées par G-DINA, un modèle de diagnostic cognitif qui déduit la maîtrise des compétences à partir des schémas de réponses.

Les notes prédites ne sont pas transmises à la branche cognitive, qui constitue donc une source de signal distincte pour l'encodeur commun.

Les ablations montrent que le gain principal vient bien du signal cognitif fondé sur la Q-matrice.

Comment le framework tient compte de l'aide de l'IA

Une réponse fluide et correcte peut aujourd'hui être la solution de quelqu'un d'autre. Elle obtiendra une note élevée, mais fera surestimer la maîtrise autonome de l'étudiant. Les auteurs ont donc entraîné un détecteur d'aide par IA distinct, également basé sur RoBERTa : un préentraînement contrastif, puis un classifieur linéaire et une calibration de la température.

Les données d'entraînement ont été construites ainsi. Une partie du texte d'une vraie réponse d'étudiant (30–50%) était masquée, et le modèle DeepSeek, utilisé hors ligne, comblait les trous, si bien que 50–70% du texte d'origine restaient conservés. Les réponses correctes entièrement générées ont aussi été rangées dans la classe « aide IA ». Sur 26 039 vraies réponses, 14 044 ont été retenues et une version IA a été construite pour chacune, soit 28 088 exemples équilibrés. La validation sur d'autres générateurs a suivi un schéma leave-one-generator-out, et celle sur les semestres F14–S17 a porté sur 11 458 exemples annotés.

La probabilité d'aide est convertie en un poids de fiabilité souple, assorti d'une borne inférieure ; il n'y a pas de seuil strict. Une réponse suspecte pèse moins dans l'estimation de la maîtrise et dans les valeurs cibles de G-DINA, mais elle n'est pas écartée. Ce poids n'agit pas sur la note de la réponse elle-même. Avec un seuil de 0,5, le détecteur a signalé 2 896 réponses sur 13 874 pour les semestres F22–F24 (20,87%). La pondération a réduit la MAE globale de 4,2% supplémentaires par rapport au modèle cognitif sans poids, et a amélioré de façon stable la MAE et le QWK sur les quatre derniers semestres de l'ère de l'IA générative.

Ce qui reste en suspens

AICG a été comparé à cinq modèles de référence solides selon un schéma à fenêtre extensible : chaque semestre n'est évalué qu'à partir des précédents. C'est plus proche d'un déploiement réel qu'un découpage aléatoire. Le résultat comporte toutefois des limites.

Toutes les données proviennent d'une seule université et d'un seul domaine. La liste des dix compétences et la Q-matrice ont été établies à la main par des experts, et il faudra refaire ce travail pour un autre cours. Le détecteur est entraîné sur une aide synthétique (DeepSeek complète des réponses masquées), et non sur de vrais cas d'usage de ChatGPT par des étudiants.

La proportion de 20,87% reste donc une estimation du modèle, et non un cas de triche avéré. Enfin, l'extrait fourni s'interrompt avant la description des autres modèles de référence et des tableaux complets : la comparaison avec chacun d'eux doit être vérifiée dans la version intégrale de l'article.

La conclusion pratique pour les développeurs de produits éducatifs est la suivante. Pour améliorer la correction automatique, on peut ajouter un signal structuré sur les compétences comme tâche auxiliaire, plutôt que de se contenter d'agrandir le modèle. Quant à la fiabilité des données, mieux vaut la réduire en douceur, par des poids, que d'éliminer purement et simplement les réponses suspectes.