Anthropic ouvre FlashProve : vérifier en 17 secondes que la bonne IA a bien répondu

Vous payez pour un modèle haut de gamme, mais la réponse qui arrive semble étrangement simpliste. Il est presque impossible de le vérifier : les poids sont fermés, la réponse paraît plausible, et le routeur placé entre vous et le fournisseur peut discrètement substituer un modèle moins cher. Anthropic a publié FlashProve en open source, et c'est la première tentative de rendre une telle vérification praticable.

Comment ça marche

L'idée ressemble à un sceau notarial. Le fournisseur publie à l'avance une empreinte numérique de ses poids, c'est-à-dire un engagement à partir duquel il est impossible de reconstituer les poids eux-mêmes. À chaque réponse, il joint un fichier de preuve. Si la preuve correspond à l'empreinte publiée, c'est bien ce modèle, avec ces poids, qui a calculé la réponse.

Le vérificateur n'a besoin ni des poids ni d'un GPU. Un ordinateur ordinaire suffit. Sous le capot, on trouve les zkSNARK, une méthode cryptographique connue de longue date : elle permet de prouver qu'un calcul a été exécuté correctement sans révéler certaines données d'entrée du calcul (ici, les poids).

Imaginez que vous utilisiez un service d'agrégation qui promet de répondre avec le modèle le plus puissant. Sans un tel protocole, vous devez le croire sur parole. Avec FlashProve, vous recevez la réponse et un fichier, vous le vérifiez en quelques secondes et savez avec certitude qu'il n'y a pas eu de substitution.

Ce qui change en chiffres

Les zkSNARK eux-mêmes ne sont pas une nouveauté. La nouveauté, c'est d'avoir réussi à les amener à des vitesses réalistes. Selon Anthropic, la preuve pour une requête de 1024 tokens pèse environ 19 Mo et la vérification prend environ 17 secondes. Le résultat précédent dans ce domaine : environ 14 heures de vérification et une preuve de 93 Go. L'écart est de plusieurs ordres en temps et de plusieurs ordres de grandeur en taille, et cela sur des modèles allant jusqu'à 400 milliards de paramètres.

Un détail à part : l'article indique que l'accélération et l'optimisation ont été réalisées en grande partie par Claude. Cela ne prouve pas que l'approche soit universelle, mais cela montre que les modèles aident déjà dans l'ingénierie cryptographique de bas niveau.

À quoi cela sert en pratique

Premier scénario : les services de routage et les proxys. Si vous construisez un produit au-dessus d'un agrégateur, vous pouvez exiger une preuve et vous assurer qu'on ne vous a pas fourni un modèle bon marché à la place de celui annoncé.

Deuxième scénario : la sécurité en entreprise. Si des attaquants ont substitué le modèle dans un environnement d'entreprise, l'écart avec l'empreinte publique le révélera.

Troisième : les secteurs réglementés, où il est important de démontrer à un auditeur quel modèle précis a pris une décision.

Limites

Le point principal : cela reste nettement plus coûteux qu'une inférence ordinaire. Générer la preuve est lourd, et pour l'instant on ne peut pas l'activer pour chaque requête en production. 17 secondes de vérification et 19 Mo par requête conviennent à un audit par échantillonnage, mais pas à un chat en temps réel. De plus, le protocole est présenté comme un prototype : il faut donc des vérifications indépendantes de l'implémentation et le soutien des fournisseurs, car sans publication de l'empreinte des poids, il n'y a rien à vérifier.

Enfin, le protocole confirme l'authenticité du modèle, mais ni la qualité ni la sûreté de ses réponses.

Que faire

Si vous construisez un agrégateur ou une passerelle, consultez le dépôt et réfléchissez à la façon d'intégrer une vérification par échantillonnage, par exemple sur un pourcentage aléatoire de requêtes. Si vous achetez de l'inférence auprès de revendeurs, commencez à poser la question de la vérifiabilité dans les contrats. Et si vous êtes product manager dans un secteur réglementé, gardez cette technologie sur votre radar : d'ici un à deux ans, l'exigence d'inférence vérifiable pourrait devenir la norme.

L'auteur du post original plaisante en disant que de là, il n'y a pas loin à un détecteur de provenance des textes. Ce n'est pour l'instant que de la spéculation, mais la direction est claire : passer de la confiance sur parole à des garanties vérifiables.