Compétence contre précision : pourquoi GPT et Qwen perdent leur logique face aux variations

Des chercheurs de l'Université de l'Illinois ont publié une étude qui remet en cause la fiabilité des méthodes actuelles d'évaluation du raisonnement logique dans les grands modèles de langage. Leur nouvelle méthodologie, la Competence-Based Evaluation (CBE), met en lumière une incohérence fondamentale : des modèles affichant une précision élevée sur les benchmarks standards ne parviennent pas à appliquer de façon stable une même règle logique dès que la formulation ou la complexité de la tâche change.

Le problème de l'évaluation actuelle du raisonnement logique

Malgré des progrès impressionnants sur des tâches variées, les grands modèles de langage rencontrent encore de sérieuses difficultés en matière de raisonnement logique, notamment une inconsistance face aux variations linguistiques. Les benchmarks actuels évaluent les modèles à travers un seul indicateur : la précision sur un ensemble de tâches sélectionnées. Cette approche ne révèle pas la capacité d'un modèle à généraliser et à transférer ses connaissances vers de nouvelles variantes d'une même tâche.

La méthodologie Competence-Based Evaluation

Les chercheurs proposent un paradigme d'évaluation alternatif, la CBE, qui vérifie si les modèles sont capables d'appliquer de façon fiable une même connaissance à toute une famille de problèmes apparentés. L'idée clé repose sur l'utilisation d'un générateur de tâches paramétré, qui fait varier la complexité tout en conservant inchangée la compétence requise. Des représentations cohérentes des réponses permettent de tester la justesse de la logique au-delà d'une seule formulation spécifique.

Cette méthodologie a été appliquée à des tâches élémentaires de tri (ordering tasks), où la taille des entrées était modulée et où les modes de représentation d'une même règle de tri variaient.

Résultats des tests sur six modèles des familles GPT et Qwen

Six modèles des familles GPT et Qwen ont été soumis à ces tests. Les résultats se révèlent éloquents :

• Performances limitées à certaines plages : les modèles affichent des performances acceptables sur des plages de complexité restreintes, mais même les modèles les plus puissants échouent au test de compétence dès que la famille de tâches s'élargit

• Chain-of-Thought (CoT) et GRPO : les techniques de raisonnement explicite (chain-of-thought) ainsi que la méthode GRPO ont élargi la plage de performances solides, sans toutefois éliminer l'ensemble des erreurs de transfert logique identifiées

• LoRA supervisé : l'approche par LoRA supervisé n'a montré qu'un transfert de connaissances minimal vers des données nouvelles, jamais rencontrées par le modèle

Ces résultats pointent vers un problème plus profond : la métrique standard de précision ne corrèle pas avec la fiabilité du transfert logique et de la généralisation.

Perspectives et implications pour le développement des LLM

La méthodologie CBE fournit des profils de diagnostic détaillés pour chaque modèle et propose un protocole d'évaluation capable d'évoluer avec les générations futures de modèles. Cette étude souligne la nécessité de repenser les approches de mesure des capacités logiques des LLM — non seulement en augmentant la précision globale, mais aussi en garantissant la fiabilité et la stabilité de l'application des connaissances face aux variations des tâches.