Des chercheurs proposent CBE : six modèles GPT et Qwen échouent au test de compétence

Les auteurs d'un preprint repéré dans Hugging Face Daily Papers proposent de revoir la manière de mesurer le raisonnement logique des grands modèles de langage. Au lieu d'un seul chiffre de précision sur un jeu de tâches choisi, ils introduisent la competence-based evaluation (CBE) : un modèle n'est jugé compétent que s'il applique de façon stable la même aptitude à toute une famille de tâches. Le test sur six modèles GPT et Qwen donne un résultat sans appel. Dans des plages de complexité limitées, la qualité est tout à fait correcte, mais aucun modèle, même parmi les plus puissants, ne remplit la condition de compétence.

Ce qui cloche avec les benchmarks habituels

Un benchmark standard donne un pourcentage de réponses correctes. Selon les auteurs, ce chiffre ne dit presque rien de la capacité de généralisation. Un modèle peut résoudre avec assurance une tâche dans sa formulation habituelle, puis se tromper lorsque la même logique est présentée autrement. Autre problème : le benchmark fige les tâches retenues. Si elles se situent dans la zone où le modèle est fort, le chiffre final paraît convaincant, alors qu'au-delà de cette zone la qualité est différente.

Comment fonctionne CBE

L'approche repose sur deux mécanismes. Le premier est un générateur paramétré, qui fait croître la complexité tout en gardant la même compétence requise. Le second est un ensemble de représentations équivalentes qui préservent la réponse : une même tâche est écrite de plusieurs manières, et le résultat correct reste identique. Le modèle ne réussit le test que s'il s'en sort sur toute la grille de tailles et de formulations, et non en un seul point.

Les auteurs ont construit leur premier exemple pratique sur des tâches élémentaires d'ordonnancement. La taille des données d'entrée augmente, et la règle d'ordonnancement est présentée sous différentes formes. La tâche est volontairement simple : si un modèle ne tient pas face aux variations ici, il est plus difficile d'espérer de la fiabilité sur des raisonnements complexes.

• Ce qui a été testé : six modèles des familles GPT et Qwen.
• Tâche : ordonnancement élémentaire avec une taille d'entrée croissante.
• Variations : différentes formulations d'une même règle, pour une réponse correcte identique.
• Résultat : qualité acceptable dans des plages de complexité limitées, mais condition de compétence non remplie par aucun modèle, y compris les plus puissants.
• Chain-of-thought et GRPO : élargissent la zone de bon fonctionnement, mais ne suppriment pas toutes les défaillances constatées.
• LoRA supervisé : faible transfert vers les données held-out.

Ce que montrent les méthodes d'amélioration

Les auteurs ont aussi testé les méthodes qu'on emploie d'ordinaire pour corriger un raisonnement faible. Le chain-of-thought et l'apprentissage par renforcement GRPO repoussent la limite au-delà de laquelle le modèle commence à se tromper, mais ne comblent pas toutes les failles identifiées. Le LoRA supervisé s'est révélé moins efficace : sur les données held-out, le transfert est minimal. Cela concorde avec une observation courante : l'ajustement supervisé sur une distribution étroite conduit facilement à mémoriser des motifs plutôt qu'à assimiler la règle. Reste que cette lecture est la nôtre, et non une conclusion de l'abstract.

Comment appliquer ces idées en pratique

Les équipes qui choisissent un modèle pour des tâches logiques gagneraient à compléter les benchmarks standard par leurs propres tests paramétrés. On prend une règle importante pour le produit, on génère des tâches de taille croissante et on écrit chacune d'elles sous plusieurs formulations. On regarde ensuite non pas le score moyen, mais l'endroit précis où la courbe de précision se brise. Il faut évaluer de la même façon les résultats d'un fine-tuning : si, après LoRA, la qualité n'a progressé que sur les formats familiers, vous avez amélioré la métrique, pas le raisonnement.

Il y a aussi des réserves. L'ordonnancement est une classe de tâches étroite, et l'abstract ne donne aucun pourcentage précis : l'ampleur des défaillances sera à chercher dans le texte intégral. Mais les auteurs qualifient eux-mêmes leur protocole d'extensible : il peut être transposé à d'autres types de logique et appliqué à de nouveaux modèles.