Un auteur soumet son scénario à un jury d'IA : le verdict coûte 850 000 tokens

Les modèles de langage flattent leur interlocuteur. Demandez si votre idée est bonne : vous entendrez presque toujours « excellente ». Le 29 octobre, l'auteur de la chaîne Telegram « Technokafe » a testé son idée autrement.

Il a installé le skill gratuit Claude Court pour Claude Code (l'agent de programmation d'Anthropic) et a organisé le procès du scénario de sa propre vidéo. Un skill est un jeu d'instructions prêt à l'emploi qui étend les capacités de l'agent. Résultat : le scénario a été acquitté par deux voix sur trois, et la vérification a mobilisé 8 agents et 849 660 tokens.

Le token est ici l'unité dans laquelle le modèle compte le volume de texte. Le nombre de tokens détermine à la fois le prix et la consommation de la limite d'abonnement.

Comment fonctionne un tribunal de réseaux de neurones

Le skill met en scène un procès. Chaque rôle est tenu par un agent distinct, c'est-à-dire par une session distincte du modèle de langage.

• L'accusateur cherche ce qui cloche dans l'idée. • L'avocat de la défense démontre qu'elle est viable. • Les jurés reçoivent chacun un rôle (par exemple, statisticien) et votent chacun de leur côté. Ils ne voient pas les votes des autres, et ne s'alignent donc pas sur l'avis d'autrui. • Le juge rédige le fichier final VERDICT.md.

L'essentiel de ce fichier n'est pas l'éloge. Le juge énumère les points faibles et formule la condition à remplir pour lancer l'idée. Le code du skill est disponible sur GitHub : alexyc9381/court-skill.

La question habituelle, « alors, qu'en penses-tu ? », n'offre qu'un seul point de vue, et celui-ci tend à approuver. Ici, des parties ont pour mission de s'opposer. Le vote est en outre indépendant : les jurés ne lisent pas les avis des autres et ne reproduisent donc pas les erreurs de leur voisin.

Ce que le tribunal a trouvé et ce que le juge a exigé

Le scénario a été acquitté par 2 voix contre 1. Le statisticien a voté contre. Son grief : le plan ne contenait aucun chiffre propre. Le juge a retenu l'argument et posé une condition : mesurer d'abord la consommation, puis tourner la vidéo.

L'auteur a fait la mesure et obtenu ces chiffres :

• Procès à trois jurés : 8 agents, 849 660 tokens. • Procès complet à douze jurés : 17 agents, environ 1,8 million de tokens. Il s'agit d'un calcul, pas d'une exécution réelle. • La formation réduite coûte deux fois moins cher que la formation complète, et non quatre fois moins. L'accusation, la défense et le juge interviennent quel que soit le nombre de jurés, et cette part de la dépense reste constante.

Ces chiffres révèlent un autre point, mais il s'agit cette fois de notre propre estimation. 849 660 tokens pour 8 agents et 1,8 million pour 17 donnent, dans les deux cas, de l'ordre de 100 000 tokens par agent. Chaque juré supplémentaire ajoute à peu près autant. Pour un procès économique, mieux vaut donc réduire le nombre de jurés. Le juge et les deux parties adverses gagnent à être conservés.

Quand le procès est rentable

L'auteur délimite honnêtement le champ d'application. Pour une retouche mineure, un tel procès est inutile. Pour une idée qui demandera une semaine de travail, 850 000 tokens coûtent moins cher qu'une semaine perdue. La logique est simple : la vérification d'une idée se paie en tokens, une erreur de planification se paie en jours. Elle explique aussi pourquoi le statisticien s'est révélé plus utile que les autres : il a exigé de remplacer les formules générales par un chiffre mesurable.

Combien a coûté la vidéo elle-même

L'auteur détaille aussi le coût du reste de la chaîne :

• Le scénario, le montage et le style ont été produits par Claude Code sur le modèle Opus 5.5. Avec l'essai de style, cela représente environ $13 en équivalent API (aux tarifs de paiement au token) et 1,3 % de la limite hebdomadaire de l'abonnement. • La voix est celle de l'auteur, clonée dans ElevenLabs. 960 caractères ont coûté $0,11. • Seize figurines ont été dessinées par GPT Image via Codex, avec un abonnement ChatGPT. • L'animation a été réalisée avec HyperFrames et GSAP.

Le procès n'est pas inclus dans ces $13 : l'auteur en a mesuré la consommation en tokens. L'ordre de grandeur reste toutefois clair. La vidéo entière, avec voix, graphismes et vérification « juridique » de l'idée, repose sur des abonnements et des appels API à quelques centimes.

Enseignements pratiques

Pour les ingénieurs et les équipes produit, cette histoire apporte plusieurs enseignements.

• Une seule question posée à un seul modèle produit un compliment. Un débat structuré avec vote indépendant produit une liste de points faibles. • Avant de lancer une vérification multi-agents, il vaut mieux mesurer sa consommation. C'est ce qu'a fait l'auteur, sur demande du juge. • Si le budget est limité, réduisez le nombre de jurés, mais ne supprimez ni le juge ni les parties. • Un tel procès a surtout du sens pour les décisions où l'erreur coûte cher, par exemple les plans représentant une semaine de travail. Pour les petites retouches, il est superflu.

La limite de la méthode est évidente. Tous les participants du procès restent des modèles de langage et peuvent partager les mêmes angles morts. Même avec un vote indépendant, le résultat reste l'opinion de modèles, et non une confrontation avec la réalité. Un verdict assorti de conditions concrètes reste néanmoins plus utile qu'un « excellente idée ! », et il coûte moins d'un million de tokens.