Anthropic : 86% des experts ont repris la recommandation de Claude sans savoir qu’elle avait été choisie à pile ou face

Imaginez un test A/B dans lequel la moitié des utilisateurs voit un bouton rouge et l’autre moitié un bouton vert. Si le rouge reçoit 3 fois plus de clics, la décision s’impose : on généralise cette version et on passe à la suite. Nul besoin d’expert ni d’IA. Mais dans la réalité, les choses sont rarement aussi simples. Et c’est précisément pour ces situations qu’on nous explique généralement qu’un humain est indispensable.

Quand les données se contredisent

Un véritable test A/B ressemble plutôt à ceci. Le bouton rouge reçoit 5% de clics supplémentaires. Mais les utilisateurs choisissent ensuite un forfait moins cher, et le montant total est inférieur de 1%. Cet écart de 1% n’est pas statistiquement significatif. En revanche, au bout de six mois, le groupe rouge enregistre 1,5 fois plus de remboursements. Il paraît étrange de penser qu’une demande de remboursement dépend de la couleur d’un bouton lors du parcours d’accueil. Et puis, le bouton vert s’intègre mieux au système de design.

Il n’y a pas de réponse évidente : il faut peser les différents éléments. L’argument classique du secteur est le suivant : un professionnel dispose de l’expérience et du discernement nécessaires pour tout mettre en perspective et trancher, le modèle ne faisant que l’aider. L’humain dans la boucle sert de garde-fou.

Comment Anthropic a testé cette idée

L’équipe d’Anthropic a décidé de mesurer plutôt que de débattre. L’expérience a réuni 50 experts. Chacun analysait avec Claude une situation complexe concernant des agriculteurs, puis présentait sa conclusion finale.

L’astuce centrale du protocole : un lancer de pièce déterminait l’orientation des conseils de l’agent. Autrement dit, le sens de la recommandation ne dépendait pas des faits : il était aléatoire. Les participants l’ignoraient. Si les experts exerçaient leur propre jugement, leurs conclusions n’auraient pas dû coïncider aussi fortement avec les suggestions reçues.

Voici les chiffres rapportés dans le compte rendu de l’étude :

• 86% ont formulé la recommandation finale vers laquelle l’agent les orientait ;
• 60% ont suivi l’IA sur les quatre décisions clés sur quatre. Une concordance purement aléatoire aurait donné 6,25% ;
• 77% ont repris le raisonnement de l’agent dans leur explication ;
• 15% ont reconnu d’où ils l’avaient tiré.

Ce dernier chiffre est peut-être le plus révélateur. Les participants ne se contentaient pas de choisir la même option : ils intégraient dans leur rapport les arguments d’un autre comme s’il s’agissait des leurs, et presque personne ne le remarquait.

Ce que cela signifie en pratique

Premier point : affirmer qu’« un humain intervient dans le processus » ne garantit rien en soi. Si l’expert découvre la recommandation du modèle avant de se forger un avis, il risque surtout d’en devenir le prolongement, plutôt que d’assurer une vérification indépendante. C’est le biais d’ancrage, sauf que l’ancre s’exprime désormais dans un texte convaincant et cohérent.

Deuxième point : si vous concevez un produit avec un humain dans la boucle, pensez délibérément les mécanismes de contrôle. Voici quelques pistes qui découlent de la logique de l’expérience :

• demander à la personne de consigner son avis avant d’afficher la réponse du modèle ;
• introduire parfois des suggestions délibérément contraires ou erronées et vérifier si elles sont repérées ;
• mesurer la proportion de cas où la personne rejette la recommandation. Si elle est proche de zéro, ce n’est pas un indicateur de qualité du modèle, mais un motif de vigilance ;
• séparer les rôles : un modèle ou une personne propose, un autre évalue à l’aveugle.

Troisième point : pour les responsables produit et les fondateurs, c’est une question de responsabilité. « La décision a été prise par un expert » semble rassurant. Mais si l’expert suit l’agent dans 86% des cas, c’est en réalité le modèle qui a décidé, et l’humain qui a signé.

Limites

Il s’agit d’une seule expérience, menée auprès de 50 participants sur une tâche précise concernant des agriculteurs. Ces chiffres ne peuvent pas être transposés tels quels à la revue de code, à la médecine ou aux tests A/B. On ignore également dans quelle mesure le résultat dépend de l’interface, de la motivation des participants et du temps dont ils disposaient. Par ailleurs, Anthropic a elle-même un intérêt dans la question de la supervision des agents : mieux vaut donc lire l’étude originale, et pas seulement son compte rendu.

Le signal reste néanmoins important. La question n’est plus de savoir s’il faut un humain. Elle est de savoir s’il réfléchit réellement, et comment le vérifier. Tant que cette seconde question reste sans réponse, l’humain dans la boucle tient davantage du rituel que de la protection.