Le benchmark CBE révèle des failles logiques chez six modèles GPT et Qwen dès que la formulation change

Les benchmarks standards mesurent les capacités des modèles de langage à travers un simple pourcentage de réponses correctes, masquant au passage la fragilité de leur logique interne. Pour y remédier, des chercheurs introduisent un nouveau protocole de test baptisé Competence-Based Evaluation (CBE). L'objectif : vérifier si un réseau de neurones parvient à appliquer une règle logique identique lorsque la tâche gagne en complexité selon des paramètres stricts ou adopte une formulation différente. Menées sur six modèles des familles GPT et Qwen, les expérimentations révèlent un échec systémique : si les systèmes affichent une précision acceptable sur des plages de complexité restreintes, ils s'effondrent dès que le contexte varie légèrement.

Un générateur paramétrique face aux heuristiques de surface

Les tests classiques comme GSM8k ou MMLU capturent un instantané de connaissances générales ou évaluent la résolution d'exercices types, pour lesquels le modèle peut deviner la solution par de simples corrélations statistiques. Les auteurs de CBE ont conçu un générateur paramétrique de tâches axé sur un ordonnancement élémentaire. L'architecture du benchmark fige la règle de base tout en étendant la taille du jeu de données en entrée et en modifiant l'enrobage sémantique de la question. Si le modèle maîtrise réellement la compétence logique requise, une variation de formulation préservant la structure de la réponse ne devrait pas impacter le résultat. Dans la pratique, la courbe de précision chute pourtant à mesure que les séquences s'allongent.

Résultats du fine-tuning et limites architecturales

Cette campagne de tests met en lumière les limites des approches actuelles d'optimisation du raisonnement. L'adaptation supervisée via LoRA ne permet presque aucun transfert vers des tournures inconnues : l'adaptateur se contente d'ajuster ses poids à la syntaxe du corpus d'entraînement. Les techniques plus avancées affichent un bilan mitigé :

• Le Chain-of-thought réduit nettement la part d'hallucinations aléatoires sur des listes de longueur moyenne, mais finit par buter sur la limite intrinsèque de son contexte.
• L'apprentissage par renforcement via GRPO (Group Relative Policy Optimization) étend la plage de robustesse des déductions plus loin que le RLHF standard.
• Aucun des six modèles testés n'a satisfait au critère de compétence stable sur l'ensemble du spectre de complexité.
• L'écart de score entre des prompts au sens identique mais à la syntaxe distincte atteint plusieurs dizaines de points de pourcentage.

L'industrie atteint un stade où la hausse des scores sur des benchmarks statiques ne garantit plus la fiabilité logicielle des architectures. Pour les cas d'usage critiques en entreprise — de la vérification de code à l'audit financier —, la prévisibilité de la logique face à des entrées non conventionnelles s'avère primordiale. Le protocole CBE offre aux ingénieurs une cartographie précise des scénarios de panne propre à chaque modèle. Tant que les LLM ne sauront pas généraliser des règles formelles indépendamment de leur expression textuelle, le déploiement de chaînes d'agents autonomes imposera la supervision constante d'outils de vérification externes.