Goodfire lance des moniteurs « internes » pour agents IA, moins chers qu'une supervision par LLM

Goodfire a lancé des moniteurs pour agents IA qui promettent un contrôle pour une fraction du prix habituel. Au lieu d'un second modèle de langage qui lit chaque action de l'agent, le système observe les signaux internes du modèle pendant son exécution. La vérification coûteuse n'intervient que si la situation soulève un doute. L'annonce ne précise pas le facteur de réduction des coûts : la formulation de l'entreprise est « fraction of the cost ».

Comment fonctionne la supervision « de l'intérieur »

Aujourd'hui, la méthode standard pour surveiller un agent est la suivante : l'agent écrit du code, navigue sur des sites, appelle des outils, et pendant ce temps une seconde LLM lit le journal complet et rend son verdict. Le schéma est clair, mais la facture croît de façon linéaire. Chaque token d'action de l'agent est payé deux fois : d'abord comme travail, puis comme vérification. Quand des centaines d'agents tournent pendant des heures, la supervision devient un poste budgétaire à part entière.

Goodfire travaille sur l'interprétabilité, c'est-à-dire l'étude de ce qui se passe à l'intérieur d'un réseau de neurones entre l'entrée et la sortie. Ici, cette discipline devient un produit. Le moniteur lit les représentations internes du modèle pendant son fonctionnement et y cherche des signes de comportement indésirable : tromperie, sortie du cadre de la tâche ou tentative de contourner les restrictions. Il n'est pas nécessaire de lire tout le texte des actions. Il suffit d'un signal indiquant que quelque chose cloche dans le modèle.

Une cascade plutôt qu'un contrôle exhaustif

L'idée clé est d'ordre économique. Le moniteur interne, peu coûteux, tourne en permanence et laisse passer l'essentiel du flux. Le niveau coûteux, c'est-à-dire un second modèle ou un humain, n'intervient que de façon sélective. De nombreux systèmes de sécurité hors IA fonctionnent ainsi : un simple capteur veille en continu, et l'analyse poussée ne se lance qu'en cas d'alerte.

D'où la principale question que pose le produit. Une cascade vaut ce que vaut son premier filtre. Une violation manquée ne sera vérifiée par personne, et un moniteur trop sensible déclenchera la vérification coûteuse si souvent que l'économie disparaîtra. L'équilibre entre faux positifs et omissions n'est pas décrit dans les documents disponibles.

Ce que l'on sait à ce stade

• Approche : lecture des états internes du modèle pendant le travail de l'agent, sans lecture séparée de l'ensemble du journal.
• Escalade : la seconde vérification ne se lance qu'en cas de signaux suspects.
• Effet annoncé : le coût de la supervision représente une fraction de celui du schéma « une LLM surveille une LLM ».
• Non communiqué : les pourcentages exacts d'économies, la part de violations détectées, la part de fausses alertes.
• Non communiqué : la liste des modèles pris en charge et la nécessité ou non d'un accès aux poids.

Ce dernier point compte. On ne peut examiner les activations que si l'on a un accès de bas niveau au modèle. C'est réaliste avec des poids ouverts ou un modèle maison. Avec une API fermée, où seul le texte de la réponse est visible, un tel moniteur ne peut pas se brancher. Pour les entreprises qui construisent leurs agents sur les API d'autres fournisseurs, l'intérêt du produit reste pour l'instant incertain.

Un regard pratique

Pour l'instant, il s'agit d'une promesse, pas d'un résultat vérifié. Les affirmations sur le coût émanent de l'entreprise elle-même, et l'annonce ne contient aucun benchmark indépendant. Mais la direction paraît sensée : à mesure que les agents gagnent en autonomie, la question « combien coûte la surveillance » devient aussi importante que « combien coûte l'exécution ».

Les équipes qui font déjà tourner des agents en production ont intérêt à mesurer leurs dépenses de supervision en pourcentage du coût total d'une tâche. Si la vérification par une seconde LLM absorbe une part notable du budget, les moniteurs internes méritent un test en pilote. Il faut vérifier non seulement le prix, mais aussi le comportement sur ses propres scénarios : combien de violations réelles sont détectées, combien de fausses alertes doivent être traitées à la main. Les équipes qui reposent sur des API fermées feraient bien d'attendre de voir si Goodfire proposera une variante sans accès aux poids.