SageMath améliore de 9,7 pp en moyenne les performances des agents LLM en mathématiques

Des chercheurs ont proposé une méthode pour intégrer SageMath, un système de calcul formel, à des agents LLM afin de résoudre des problèmes mathématiques de niveau recherche. Les résultats montrent une amélioration générale des performances de +9,7 pp en moyenne, avec un gain maximal de 27,8 pp pour le modèle Qwen 3.7-Max.

Comment le système de calcul formel a été intégré au LLM

SageMath est un logiciel libre de calcul mathématique couvrant l'algèbre symbolique, la théorie des nombres et la visualisation. Les chercheurs l'ont intégré à un agent de type ReAct, une architecture qui permet au LLM de raisonner étape par étape, en appelant des outils et en analysant leurs résultats.

L'intégration comprend :

• L'architecture ReAct pour le raisonnement logique étape par étape
• SageMath pour vérifier et exécuter les opérations algébriques
• Context7 pour accéder à la documentation à jour de SageMath
• Le benchmark RealMath, composé de problèmes mathématiques de recherche

Cette combinaison évite au LLM de se contenter de « deviner » les réponses : il peut vérifier les résultats intermédiaires et garantir l'exactitude des calculs.

Les résultats obtenus par les modèles

Lors des tests sur des modèles de pointe, le système a produit un gain de performance régulier. GPT-5.5 domine en performance absolue : 75,2 % de problèmes résolus et la consommation de tokens la plus faible de toutes les configurations avec outils.

Qwen 3.7-Max a obtenu le plus fort gain relatif : +27,8 pp grâce à l'intégration de SageMath. Les améliorations de l'ensemble des modèles testés vont de 1,5 pp à 27,8 pp.

Les chercheurs ont aussi proposé d'améliorer le benchmark RealMath lui-même : ils ont ajouté une vérification et une validation en plusieurs étapes afin que les problèmes extraits soient de meilleure qualité et plus fiables.

Chiffres clés :

• Amélioration moyenne : +9,7 pp
• Fourchette de gain : 1,5 pp – 27,8 pp
• GPT-5.5 atteint 75,2 % de problèmes résolus
• Qwen 3.7-Max obtient le plus fort gain avec SageMath

À quoi cela sert aux mathématiciens

Mathématiciens et développeurs d'IA cherchent à automatiser le processus de recherche, ce fameux « cycle de calcul » où le chercheur formule une hypothèse, vérifie les calculs, analyse les résultats et passe à l'idée suivante.

Les agents CAS peuvent accélérer sensiblement ce cycle : vérifier en quelques secondes des développements algébriques complexes, repérer des régularités dans des suites numériques, aider à formuler et à tester des hypothèses, et éviter les erreurs de calcul.

Les auteurs y voient une voie vers la recherche automatisée de nouvelles conjectures mathématiques, un domaine où les LLM se trompaient souvent auparavant ou réclamaient beaucoup d'aide humaine.

Ce que cela signifie

L'étude met en évidence une vérité fondamentale : bien choisir son outil peut changer qualitativement la capacité de raisonnement logique d'un LLM. SageMath n'est pas le premier système de calcul formel, mais c'est la première étude d'ampleur sur son intégration à des LLM de pointe au niveau des performances. La prochaine étape consiste à élargir l'éventail de systèmes CAS (Mathematica, Maple) et à optimiser l'intégration pour d'autres types de problèmes en physique et en ingénierie.