FormulaSPIN : une IA qui écrit des formules de tableur à partir d'une description et devance les modèles propriétaires

En juillet 2026, des chercheurs ont publié sur arXiv FormulaSPIN, un framework d'entraînement par self-play qui génère des formules de tableur à partir d'une description en langage naturel. Il atteint 74,9 % de correspondances exactes et 87,1 % de précision à l'exécution sur le benchmark NL2FORMULA, devançant à la fois l'approche supervisée classique et les meilleurs modèles propriétaires.

Comment le modèle apprend de lui-même

FormulaSPIN s'entraîne sans la moindre nouvelle ligne de données annotées : le modèle joue contre lui-même. Selon le résumé publié sur arXiv, l'entraînement prend la forme d'un jeu à deux joueurs. Le joueur principal apprend à préférer les formules de référence (ground-truth) à celles produites par sa version précédente. Le retour d'exécution des formules trie les réponses par « granularité » et construit un curriculum adaptatif : le modèle maîtrise d'abord la correction sémantique, puis le raffinement stylistique de l'écriture.

L'avantage décisif de cette tâche tient à son exécutabilité binaire : une formule s'exécute et produit un résultat, ou elle échoue. Cette propriété offre une supervision implicite qui distingue les erreurs sémantiques des variantes simplement écrites autrement, mais valides.

Pourquoi le SPIN classique échoue ici

Le SPIN classique ne fonctionne pas pour la génération de formules, car il pénalise de la même façon toute réponse qui ne coïncide pas littéralement avec la référence. D'après les auteurs, une même formule, équivalente à l'exécution, est sanctionnée comme « fausse » dans un exemple et sert de référence dans un autre. Les gradients d'apprentissage se contredisent alors, et le modèle ne converge pas.

FormulaSPIN lève cette contradiction par la vérification à l'exécution. Si deux expressions d'apparence différente donnent le même résultat, le système les considère comme valides, et non comme une erreur. Les auteurs ont en outre introduit ExecVote, un mécanisme de vote au niveau sémantique qui gère nativement le cas où une même tâche admet plusieurs formulations correctes.

Ce que montrent les mesures

FormulaSPIN établit un nouvel état de l'art sur plusieurs benchmarks. Sur NL2FORMULA, il atteint 74,9 % de correspondances exactes et 87,1 % de formules correctes à l'exécution. Ce niveau est comparable à celui de modèles entraînés avec des annotations de préférences supplémentaires, et supérieur à celui du SFT traditionnel comme à celui des modèles propriétaires de pointe.

• 74,9 % d'exact match sur le benchmark NL2FORMULA
• 87,1 % de précision à l'exécution (execution accuracy)
• Entraînement sans le moindre exemple annoté supplémentaire
• ExecVote : vote au niveau sémantique pour gérer plusieurs formules valides
• Surpasse à la fois le SFT classique et les modèles propriétaires frontier

«

Ces résultats soulignent le potentiel du self-play pour les tâches où les données manquent et ouvrent la voie à son extension au-delà des domaines exécutables », indique le résumé de l'article FormulaSPIN sur arXiv.

Ce que cela change

Écrire des formules reste un obstacle pour des centaines de millions d'utilisateurs de tableurs, et les données annotées pour entraîner ce type de modèles sont rares. FormulaSPIN montre qu'un modèle peut s'améliorer seul en utilisant l'exécution comme source gratuite de vérification, sans coûteuse annotation manuelle. L'approche s'applique à toute tâche dont le résultat peut être exécuté et comparé : code, requêtes SQL, calculs.

Questions fréquentes

Qu'est-ce que FormulaSPIN ?

FormulaSPIN est un framework d'entraînement par self-play pour générer des formules de tableur à partir d'un texte en langage naturel. Le modèle s'améliore de façon itérative, sans données annotées supplémentaires, en utilisant la vérification de l'exécutabilité des formules comme source de retour.

En quoi

FormulaSPIN diffère-t-il d'un fine-tuning classique ?

Le supervised fine-tuning (SFT) classique atteint vite un plafond, limité par le volume d'annotations disponibles. FormulaSPIN s'entraîne selon le principe d'un jeu à deux joueurs et sépare les erreurs sémantiques des variantes d'écriture valides grâce à l'exécution. Il devance ainsi le SFT et n'exige aucune nouvelle donnée.

Quels résultats FormulaSPIN a-t-il obtenus ?

Sur le benchmark NL2FORMULA, le framework atteint 74,9 % de correspondances exactes et 87,1 % de précision à l'exécution. C'est le niveau de modèles entraînés avec des annotations de préférences supplémentaires, et un résultat supérieur à celui des meilleurs modèles propriétaires.