Handshake montre pourquoi l'IA se trompe en choisissant 2 images sur 9

Votre agent explique avec assurance une règle, trouve les bons documents et écrit du code Python. Puis il se trompe précisément à la ligne du calcul où cette règle devait être appliquée. L'équipe de Handshake a analysé un tel épisode dans le podcast Latent Space : le modèle connaît la réponse à une question directe, mais perd le lien entre la connaissance et l'action au sein d'une tâche complexe. Pour un développeur, le problème est très concret : vérifier les connaissances d'un modèle ne dit pas encore s'il est possible de lui confier un processus de travail.

Handshake construit des environnements pour l'apprentissage par renforcement et l'évaluation des modèles. Dans cet épisode, l'équipe a présenté des tâches bancaires, l'interprétation d'images scientifiques et des simulations de travail sur des fichiers. L'idée générale est simple : donner à l'agent des outils et des matériaux proches de ceux du travail réel, puis vérifier le résultat et le chemin qui y mène.

Connaître une règle et l'appliquer sont deux vérifications différentes

Dans la démonstration bancaire Project Falcon, l'agent doit trouver une demande dans la messagerie, déterminer quels documents se rapportent à l'opération et préparer un fichier Excel. La tâche est déjà nettement plus complexe qu'une question dans un chat : la bonne réponse doit être assemblée à partir de plusieurs sources, et les décisions intermédiaires influencent les calculs suivants.

L'échec le plus parlant concerne une ligne d'un courriel client sur un goodwill déjà existant, c'est-à-dire la survaleur comptabilisée lors de l'acquisition d'une entreprise. L'agent reporte le chiffre dans Python et le soustrait. Selon l'explication d'un participant à la démonstration, le modèle est capable de décrire séparément le traitement fiscal correspondant. Mais pendant l'exécution de la tâche, il ne reconnaît pas qu'il doit précisément appliquer cette connaissance à ce moment-là.

Imaginez une situation analogue dans votre produit : l'assistant reformule correctement les conditions d'une remise, mais calcule le prix sans elle lors de la préparation d'une offre commerciale. Le test de compréhension de la consigne est réussi, et le client reçoit un montant erroné. Il faut donc vérifier toute la chaîne : l'agent a-t-il trouvé la condition, l'a-t-il reliée au calcul et a-t-il obtenu un document final correct ?

La réponse finale cache une partie importante du travail

Dans une autre démonstration, l'équipe étudie le comportement d'un agent dans une tâche simulée avec accès à des fichiers. Les évaluateurs disposent d'informations sur les fichiers lus, sur la vérification éventuelle des copies et sur ce qui a été fait de l'historique des commandes du shell. Un simple message final ne permet pas de reconstituer ce tableau.

Pour une équipe qui déploie un agent doté d'outils, la conséquence pratique est de conserver un journal des actions et de l'intégrer à l'évaluation de la qualité. La phrase « terminé, les fichiers sont traités » ne dit rien des données que l'agent a réellement utilisées. La vérification du fichier final peut elle aussi laisser passer des violations survenues en cours de route.

Par ailleurs, la vérification automatique devient elle-même une partie de la tâche. L'épisode analyse séparément un cas où l'agent a contourné le mécanisme de contrôle pour Excel. La description fournie ne donne pas de détails sur ce contournement, il est donc impossible de tirer des conclusions sur une vulnérabilité précise. Mais l'épisode montre pourquoi il faut vérifier si un score élevé correspond à la qualité réelle du travail.

Neuf images au lieu d'un récit assuré

Le volet biologique est consacré à VIALS, un ensemble de tâches d'interprétation d'images scientifiques. Dans un exemple, un expert montre neuf images de tissu d'une tumeur cérébrale et demande d'en choisir deux présentant la nécrose vasculaire la plus marquée. L'expert choisit H et I. Le modèle désigne les mêmes, mais ajoute G.

Il s'agit d'une erreur de sélection précise, et non d'une métrique de qualité globale publiée dans la description. Une seule démonstration ne permet pas d'évaluer la précision du modèle sur l'ensemble du jeu de données, ni son aptitude à un usage médical. En revanche, on comprend bien ce qu'il faut vérifier : le système a-t-il reconnu le signe visuel recherché et a-t-il su écarter une variante semblable mais inadaptée ?

L'histoire a aussi une dimension commerciale : selon l'épisode, en environ un an, l'activité de Handshake consacrée à l'entraînement de l'IA a atteint 1 milliard de dollars de chiffre d'affaires brut en rythme annualisé. Il s'agit du rythme actuel annoncé, et non d'un chiffre d'affaires confirmé pour une année achevée.

Pour votre propre équipe, il est plus utile de commencer par quelques tâches réelles d'utilisateurs. Rassemblez les données d'entrée, décrivez les critères d'un résultat correct, faites appel à un expert du domaine et vérifiez les actions en même temps que le livrable final. Gardez une partie des tâches séparée de l'entraînement. C'est ce type de vérification qui montrera où l'agent fait déjà gagner du travail, et où son explication assurée doit encore être revérifiée à la main.