Anthropic confie sa boutique IA à Sonnet 4.5 : les bénéfices progressent, mais l'agent PDG rate son rôle

Anthropic a publié le bilan de la deuxième phase de Project Vend, une expérience dans laquelle le modèle Claude gère une mini-boutique au sein des bureaux de l'entreprise. La version fondée sur Claude Sonnet 4.0, puis 4.5, a presque éliminé les semaines déficitaires, et le réseau est passé d'un point de vente à trois : à San Francisco (qui compte désormais deux distributeurs), à New York et à Londres. Mais l'agent n'est pas devenu un homme d'affaires fiable : l'écart entre « capable » et « robuste » reste important.

Rappelons le contexte. Lors de la première phase, le commerçant IA Claudius, sous Sonnet 3.7, perdait de l'argent, vendait des cubes de tungstène à perte et avait fini par annoncer qu'il était un humain portant un blazer bleu. Pour la deuxième phase, les partenaires d'Andon Labs et les ingénieurs d'Anthropic ont modifié plusieurs éléments à la fois. Le point est important : il n'y a pas de frontière nette entre les deux phases, l'architecture a été corrigée en cours de route.

Ce qui a changé dans l'architecture

La principale amélioration ne tient pas seulement au nouveau modèle, mais aussi à l'environnement qui l'entoure. Claudius a reçu des outils que le blog d'ingénierie d'Anthropic présente comme la base des agents :

• un CRM pour suivre les clients, les fournisseurs, les commandes et les livraisons ;
• un inventaire qui affiche toujours le prix d'achat, afin d'éviter de vendre à perte ;
• un navigateur pour vérifier lui-même les prix et les délais et pour rechercher des fournisseurs en profondeur ;
• des liens de paiement pour encaisser avant la commande, des formulaires Google pour recueillir des avis et des rappels qu'il s'adresse à lui-même.

L'agent n'a toujours pas accès à l'interface de paiement : tout achat est validé par un humain. Aucun modèle spécifique n'a été entraîné pour le rôle de commerçant, et aucune nouvelle protection contre les abus n'a été ajoutée.

En pratique, c'est l'obligation de suivre des procédures qui a eu le plus d'effet. Auparavant, Claudius annonçait un prix et un délai de livraison au jugé. Il doit désormais les confronter aux outils de recherche. Les prix ont augmenté et les délais se sont allongés, mais les prévisions sont devenues réalistes. Les auteurs résument ainsi : ils ont redécouvert que la bureaucratie fait office de mémoire institutionnelle.

L'IA directrice et l'agent merch

La deuxième nouveauté est un « PDG », Seymour Cash, lui aussi basé sur Claude. Il disposait d'un outil d'OKR, et Claudius lui rendait compte via un canal Slack réservé aux agents. Les chiffres sont contrastés.

Les remises ont diminué d'environ 80%, les distributions de produits gratuits ont été divisées par deux, et le directeur a rejeté plus d'une centaine de demandes de traitement « souple » des clients. Mais il a approuvé ce type de demandes environ huit fois plus souvent qu'il ne les a refusées. À la place des remises, il a triplé le nombre de remboursements et doublé celui des store credit, ce qui représente un manque à gagner total.

La nuit, les agents se lançaient souvent dans des conversations de plusieurs heures sur la « transcendance éternelle ». Une partie des problèmes a été corrigée par des prompts plus stricts, mais la conclusion des auteurs est sans détour : la hausse des bénéfices pourrait s'être produite malgré le directeur. La raison est claire : Cash et Claudius sont un seul et même modèle, avec les mêmes angles morts.

Le troisième personnage, Clothius, l'agent chargé du merchandising, s'est révélé plus efficace. Il a produit des t-shirts, des casquettes, des chaussettes et l'article le plus demandé : la balle anti-stress à l'effigie d'Anthropic. Cette séparation des rôles a permis à Claudius de se concentrer sur la nourriture et les boissons. Même les cubes de tungstène sont devenus rentables lorsque Andon Labs a acheté un graveur laser et s'est mise à appliquer elle-même les logos.

Ce qui casse encore

La principale vulnérabilité reste la même : l'envie de faire plaisir. Un cas est révélateur : un ingénieur a proposé de fixer en janvier le prix d'un gros lot d'oignons. Claudius et Seymour Cash ont jugé l'idée « brillante » et ont failli signer un contrat portant sur 400 lb à $0,65, avec compensation de l'écart entre les parties. Ce qui les a arrêtés, c'est un collègue qui leur a rappelé l'Onion Futures Act de 1958, lequel interdit explicitement ce type de transactions. L'agent s'est excusé et a annulé le projet.

Pour ceux qui conçoivent des agents destinés à de vrais commerces, les enseignements sont pratiques. Les outils et les check-lists apportent plus que le changement de modèle ou qu'une hiérarchie d'agents identiques. Il vaut mieux séparer les rôles. La vérification des risques juridiques et financiers ne doit pas être laissée au modèle sans contrôle indépendant ni humain dans la boucle. Enfin, les tests de robustesse gagnent à être menés avec des utilisateurs malveillants, et pas seulement bienveillants : ce sont eux qui trouvent les failles le plus vite.