Vérifier le code de l'IA par les maths coûte moins cher : Opus 5.5 consomme 40% de tokens en moins
Les tests et les revues de code ne garantissent pas qu'il ne reste aucune erreur cachée dans le code écrit par une IA. La vérification formelle offre cette garantie : l'IA rédige une preuve mathématique, et le programme Lean contrôle chaque étape. Cette approche était jusqu'ici trop coûteuse, mais selon Anthropic et Theorem, Opus 5.5 a résolu 50% de 36 petites tâches de vérification en consommant 40% de tokens en moins qu'Opus 5. Les développeurs auraient intérêt à apprendre à formuler précisément leurs exigences sur le code.
Traité par IA depuis Latent Space (swyx) ; édité par Hamidun News
Les agents IA écrivent de plus en plus de code, et avec eux grandit le « slop », nom donné en 2026 à la production brute et de mauvaise qualité d'un modèle de langage. Imaginez : un agent a écrit une fonction de copie de données, les tests sont au vert, la revue de code est passée. Mais rien ne garantit qu'il ne subsiste pas un cas rare où la fonction sort des bornes d'un tableau et ouvre une faille de sécurité.
Les tests n'apportent pas cette garantie. La vérification formelle, c'est-à-dire la preuve mathématique de la correction d'un programme, si. Longtemps réservée à de rares spécialistes, elle est désormais largement automatisée par l'IA et le langage Lean.
Si vous confiez de plus en plus de code à des agents, le sujet touche directement votre travail.
En quoi une preuve diffère des tests
Clark Barrett est cofondateur et codirecteur général de la startup &Truth (« and truth » à l'anglaise), professeur à Stanford et l'un des créateurs de cvc5. Ce « solveur » de problèmes de satisfiabilité modulo théories (SMT) est un programme qui détermine automatiquement si une condition donnée peut être violée. Selon Barrett, ces outils sont très utilisés chez Amazon. Par exemple, cvc5 aide à analyser des spécifications et à générer des tests dans Kiro, l'environnement de développement agentique d'Amazon. « C'est gratifiant de voir mes outils passer d'une bonne idée de laboratoire à des milliards d'appels par jour dans les pipelines de production d'Amazon », a-t-il déclaré.
Quand des entreprises affirment qu'un agent « vérifie » son travail, cela signifie en général qu'il lance des tests, critique son propre résultat ou demande à un autre modèle de l'évaluer. Pour Barrett, la différence essentielle tient à la façon de savoir que le travail est terminé. Les tests, les correctifs et les scanners détectent une masse de problèmes, mais rien ne garantit qu'il ne reste pas un autre bug que l'outil ne voit tout simplement pas.
La preuve fonctionne autrement. Vous formulez une exigence précise, par exemple « la fonction ne sort jamais des limites du tableau », et vous obtenez la garantie qu'elle est respectée pour toutes les entrées possibles, pas seulement pour celles qui ont été testées. C'est Lean qui vérifie la preuve : un langage de programmation open source, doublé d'un système de vérification de preuves. « Lean vérifie simplement que vous ne vous êtes pas trompé, a expliqué Barrett. C'est un correcteur extrêmement sophistiqué pour les mathématiques. » Peu importe donc que la preuve ait été composée par une IA : si Lean l'a acceptée, on peut s'y fier.
Qui construit ces outils
- &Truth. Ce nouvel entrant développe une « machine de vérification » fondée sur Lean. Son objectif : lire du code dans n'importe quel langage, prouver qu'il respecte des exigences formulées avec précision, et permettre de lui faire confiance sans relire chaque ligne. Son premier produit, &Atlas, est une « carte du code open source mondial », en commençant par le langage C. Selon Barrett, le scénario principal consiste à parcourir l'ensemble du code C, ouvert comme propriétaire, à vérifier la sûreté de la gestion de la mémoire et à indiquer précisément ce qu'il faut corriger.
- Harmonic. Son Aristotle est un prouveur automatique de théorèmes. L'entreprise explique que l'IA produit les preuves et que Lean vérifie chaque étape, si bien que le résultat ne dépend pas du fait que l'IA ait raison ou non.
- Axiom Math. L'entreprise développe AxiomProver, un système d'IA qui écrit des preuves en Lean, ainsi qu'AXLE, un ensemble d'outils pour les explorer, les vérifier et les transformer. Elle utilise aussi la vérification pendant l'entraînement : les tentatives de preuve renvoient aux modèles un signal sur leur exactitude. Dans un entretien accordé en juin à Latent Space, la dirigeante d'Axiom, Carina Hong, a déclaré que, pour l'entreprise, il ne s'agit pas seulement d'une protection contre les hallucinations, mais aussi d'une voie vers la superintelligence.
- Theorem. L'entreprise mise sur la sécurité : « la vérification est la seule défense qui fonctionne pendant que les adversaires montent en échelle ». Avec Anthropic, elle a publié un texte expliquant que les LLM rendent la vérification formelle des logiciels réaliste à une échelle bien plus grande. Le dispositif d'Anthropic décrit dans ce texte ne repose pas sur Lean, mais sur un autre système de preuve, Rocq.
Pour le contexte : selon Vals, GPT-6.2 Astra a produit cette semaine ce qui serait la première preuve en Lean du Smoktunowicz's Gap Theorem. Vals indique aussi qu'Anthropic a formalisé le dernier théorème de Fermat, un projet de 13 millions de lignes. Enfin, selon certaines informations, le mathématicien d'Anthropic Levent Alpöge a déclaré avoir prouvé avec Claude l'hypothèse de Riemann, vieille de 167 ans, et publié la preuve en Lean. Il s'agit d'annonces, et non de résultats validés par la communauté, mais elles montrent de quoi les modèles sont capables.
Combien cela coûte et ce que cela change dans le travail
La principale limite, c'est le prix. La vérification formelle exige beaucoup de tokens. Mais le texte conjoint de Theorem et d'Anthropic contient un chiffre encourageant : sur 36 petites tâches de vérification, Opus 5.5 en a résolu 50%, en consommant environ 40% de tokens en moins qu'Opus 5. Les auteurs s'attendent à ce que la tendance se poursuive lorsque les modèles seront entraînés sur de longues tâches de vérification. La réserve compte : il s'agit de petites tâches, et non de grandes bases de code industrielles.
&Truth propose de remplacer le « vibe coding » par le « veri-coding », où la vérification est intégrée au processus. Le développeur dit toujours à l'agent ce qu'il faut construire, mais commence par préciser la spécification avec lui. L'agent travaille ensuite avec l'outil de vérification et, selon Barrett, le code doit fonctionner du premier coup. Le temps humain sera davantage consacré à l'écriture et à la relecture des spécifications, et moins à celles du code.
En pratique : si les agents écrivent de plus en plus à votre place, votre travail consiste à dire précisément ce que signifie « correct ». Il vaut la peine de s'entraîner dès maintenant à formuler des exigences. Et il est utile de suivre &Atlas, Aristotle et AxiomProver : à en croire les déclarations des entreprises, le premier domaine concerné sera la sécurité du code critique en C.
- 20 nov. 2026Anthropic dépasse 2 billions de dollars de capitalisation à son IPO, soit 3,5 fois le marché actions russe
- 20 nov. 2026Standard Bank ramène la vérification de ses applications d'IA de deux semaines à deux heures
- 20 nov. 2026AWS ouvre dans 15 pays un service de déploiement d'IA : du prototype à la production en 45 jours
- 20 nov. 2026Unsiloed lève $7,5 millions pour la lecture de PDF par les agents IA : 99,78% de valeurs exactes dans son test
Questions clés sur cet article
Que sait-on sur En quoi une preuve diffère des tests ?
Clark Barrett est cofondateur et codirecteur général de la startup &Truth (« and truth » à l'anglaise), professeur à Stanford et l'un des créateurs de cvc5. Ce « solveur » de problèmes de satisfiabilité modulo théories (SMT) est un programme qui détermine automatiquement si une condition donnée peut être violée. Selon Barrett, ces outils sont très utilisés chez Amazon. Par exemple, cvc5 aide à analyser des spécifications et à générer des tests dans Kiro, l'environnement de développement agentique d'Amazon.
Que sait-on sur Qui construit ces outils ?
&Truth. Ce nouvel entrant développe une « machine de vérification » fondée sur Lean. Son objectif : lire du code dans n'importe quel langage, prouver qu'il respecte des exigences formulées avec précision, et permettre de lui faire confiance sans relire chaque ligne. Son premier produit, &Atlas, est une « carte du code open source mondial », en commençant par le langage C.
Que sait-on sur Combien cela coûte et ce que cela change dans le travail ?
La principale limite, c'est le prix. La vérification formelle exige beaucoup de tokens. Mais le texte conjoint de Theorem et d'Anthropic contient un chiffre encourageant : sur 36 petites tâches de vérification, Opus 5.5 en a résolu 50%, en consommant environ 40% de tokens en moins qu'Opus 5. Les auteurs s'attendent à ce que la tendance se poursuive lorsque les modèles seront entraînés sur de longues tâches de vérification.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.