FindStatBench : un nouveau benchmark révèle où les meilleurs modèles d'IA échouent en synthèse de code

En juillet 2026, des chercheurs ont présenté FindStatBench, un benchmark qui évalue les grands modèles de langage sur la synthèse de code combinatoire : 2 329 tâches, 24 collections et 5,52 million d'objets de test cachés. Sur cet ensemble, les meilleurs modèles ouverts et fermés se séparent de moins d'un point de pourcentage en précision.

Ce que mesure FindStatBench

FindStatBench s'appuie sur le projet mathématique FindStat. Le modèle doit écrire une unique fonction Python solve à partir de la description mathématique de la tâche et de cinq exemples publics « entrée-sortie » au maximum. Pas de recherche, pas d'appel d'outils, pas de retour d'exécution, pas de vote ni de reclassement : un seul essai. La réponse est exécutée dans un bac à sable sur des objets combinatoires cachés, puis vérifiée par exécution exacte.

Les auteurs ont testé 11 systèmes : quatre modèles de production fermés et sept modèles à poids ouverts, servis via un même fournisseur d'inférence.

• 2 329 tâches réparties en 24 collections, 5,52 million d'objets de test cachés
• Deux types : statistic synthesis (objet → entier) et map synthesis (objet → objet)
• En entrée : la description et 5 exemples « entrée-sortie » au maximum
• Évaluation : exécution exacte de la fonction Python dans un bac à sable
• 11 systèmes testés : 4 fermés + 7 ouverts

Pourquoi les exemples dans le prompt nuisent

Pour une partie des tâches, les exemples dans le prompt réduisent la précision au lieu de l'améliorer. Selon l'étude, plusieurs bijections classiques sont résolues à la perfection par les modèles sans aucun exemple, mais échouent sur ces mêmes tâches dès que le prompt contient cinq exemples « entrée-sortie ». D'autres échecs relèvent de la mécanique du budget de sortie : le raisonnement du modèle épuise la réponse visible avant même d'arriver au code. Les prompts longs provoquent un effondrement brutal de la précision, que les auteurs baptisent accuracy cliff.

Où les modèles butent sur un plafond

La statistic synthesis est nettement plus facile pour les modèles que la map synthesis : associer un entier à un objet est plus simple que associer un objet à un autre objet. Les meilleurs systèmes ouverts et fermés se retrouvent à moins d'un point de pourcentage en instance accuracy. Fusionner tous les systèmes en un « oracle » ou tirer cinq échantillons d'un modèle de force moyenne n'apporte qu'un gain limité. Certaines collections de tâches restent d'ailleurs à zéro.

«

La statistic synthesis est bien plus facile que la map synthesis... et l'induction exacte de règles symboliques reste fragile », indique le résumé de FindStatBench sur arXiv.

Ce que cela signifie

Même les meilleurs LLM déduisent encore mal des règles symboliques exactes à partir de descriptions mathématiques, et ni davantage d'exemples ni davantage de calcul ne franchissent ce mur. FindStatBench offre à l'industrie un test exigeant et exécutable sur ce type précis de raisonnement, et non sur la restitution de solutions déjà connues.

Questions fréquentes

Qu'est-ce que FindStatBench ?

C'est un benchmark exécutable fondé sur le projet FindStat : 2 329 tâches de synthèse de code combinatoire dans lesquelles le modèle écrit une fonction Python, vérifiée par exécution exacte sur 5,52 million d'objets cachés, sans droit aux indices, aux outils ni aux nouvelles tentatives.

Pourquoi davantage d'exemples n'aident-ils pas toujours les modèles ?

Selon l'étude, plusieurs bijections classiques sont résolues à la perfection sans le moindre exemple, mais échouent avec un prompt de cinq exemples : un contexte long entraîne une chute brutale de la précision, et le raisonnement épuise parfois le budget de réponse avant la production du code.