Jev avant Claude Sonnet : comment reformuler la question a fait grimper l'AUC à 0,95

Le

Laboratoire et le problème des analyses coûteuses et inutiles

L'auteur gère un pipeline nommé le Laboratoire. Tout ce qui est intéressant au cours d'une journée — reels, publications, liens vers des dépôts — est enregistré dans Telegram. Une fois par jour, un script récupère les nouveautés, et Claude Sonnet rédige une analyse-instruction pour chaque contenu. Ensuite, un second passage, en rôle d'éditeur, décide de publier l'analyse ou de l'archiver.

Le problème : dans les favoris se mélangent des guides utiles, des messages de travail, des contenus personnels et des images sans un seul mot. Lorsque 67 contenus ont été annotés, 28 se sont révélés superflus. Sonnet rédigeait honnêtement une analyse complète pour chacun de ces contenus, mais l'éditeur la rejetait — une pure perte de temps et de quota. Sonnet fonctionne via l'abonnement Claude Code avec un quota hebdomadaire, d'où la nécessité d'un filtre bon marché pour écarter les déchets évidents avant même d'atteindre le grand modèle.

Jev de TypeSafe : un modèle pour les questions fermées

La solution a été Jev, un modèle de la start-up TypeSafe, lancé le 15 septembre 2026. Il est conçu pour les questions fermées : on envoie un texte et un dictionnaire de questions, et on reçoit non pas un paragraphe de texte mais des valeurs assorties de probabilités. L'entrée coûte 0,042 $ par million de tokens, la sortie est gratuite.

Trois types de questions :

• noul : renvoie une probabilité de « oui » comprise entre 0 et 1
• choice : choisit parmi une liste fournie (jusqu'à 255 options) et renvoie la probabilité de chaque option ainsi qu'un niveau de confiance
• score : évalue sur une échelle ordonnée

Toutes les questions portant sur un même texte sont traitées en un seul passage. Selon les mesures de TypeSafe elle-même, les réponses de Jev correspondent à la référence fournie par de grands modèles dans deux cas sur trois (68 %).

Lorsque l'auteur a voulu l'essayer, TypeSafe n'enregistrait plus de nouveaux utilisateurs. Mais Jev est disponible dans Cloudflare Workers AI sous le nom typesafe/jev, avec la mention Zero data retention. Particularités : le paiement ne peut se faire qu'à partir d'un solde prépayé sur AI Gateway, et la réponse se trouve un niveau plus profond que dans la documentation de TypeSafe (result.result.answers).

La leçon principale : la formulation compte plus que le modèle

Avant le Laboratoire, l'auteur avait testé Jev sur une autre tâche : filtrer des faits pour une base de connaissances. La première question était générale : « est-ce un fait utile ? » Sur l'ensemble annoté, l'AUC était de 0,46 — moins bien qu'un tirage à pile ou face. L'auteur a ensuite reformulé la question pour y inclure une véritable raison : « est-ce que cela concerne le monde réel, et non une correction de document ou des détails techniques ». Même modèle, mêmes textes, et l'AUC est monté à 0,95. Sur des décisions relevant du goût, il n'a pas dépassé 0,72–0,77 — dans ce cas, Jev ne convient que comme préfiltre prudent.

Cette règle a été transposée au Laboratoire : ne pas interroger le modèle sur « l'utilité » en général, mais énumérer les véritables raisons pour lesquelles un contenu finit à l'archive.

La spécification du

Laboratoire : six catégories plutôt que des questions floues

Au lieu de plusieurs questions oui/non, on utilise un seul choice, où les options s'excluent mutuellement et reprennent les véritables motifs de rejet issus du journal de l'éditeur :

• guide : un outil, un service, un dépôt, un prompt, une compétence, un réglage ou une pratique de travail concrets sont montrés ou nommés, et le lecteur peut les retrouver et les reproduire. Cela compte même s'il s'agit de publicité
• idea : un schéma, un cadre conceptuel, une formule ou un modèle par étapes pouvant être décomposé point par point
• no_text : presque aucun texte ni discours, seulement un lien, une image ou une photo
• owner_work : du travail de l'auteur lui-même, un message à un collègue, un brouillon de publication, un lien vers son propre produit
• personal : du contenu personnel, sans lien avec le travail sur l'IA — sport, famille, santé, vie quotidienne
• no_method : une opinion, une thèse, de la publicité ou une nouvelle sans outil, pratique ni schéma

La probabilité de « conserver » est calculée comme la somme des probabilités de guide et idea. Si elle est inférieure au seuil de 0,2, le contenu n'atteint pas Sonnet.

Deux semaines d'exploitation réelle : 0,0028 $ et une économie

Du 26 septembre au 6 octobre, le journal compte 26 appels. Au total, ils ont coûté 0,0028 $ — environ un centième de centime par appel, sur des textes de 90 à 3100 caractères. Depuis Moscou, la réponse met plus de temps que les 70–500 ms annoncés (TypeSafe a effectué ses mesures depuis des ordinateurs portables de la côte Ouest américaine) : temps médian de 1,3 seconde, premier appel de 2 à 9 secondes, les appels suivants tenant généralement en une seconde et demie.

Lors du premier passage en conditions réelles, le 5 octobre, Jev a écarté un contenu — un fichier média presque sans texte, avec une probabilité de 0,01. L'économie en argent est dérisoire, mais sur le plan du quota, elle est notable : auparavant, chaque contenu de ce type consommait une analyse complète de Sonnet et un passage de l'éditeur.

Là où Jev ne fonctionne pas

Les tâches ouvertes nécessitant une explication en langage humain restent du domaine des LLM. Les décisions relevant du goût, sans critères nets (les AUC de 0,72–0,77 obtenus par l'auteur le confirment). Les calculs, les dates, les textes longs et bruités — le modèle lit la question au sens littéral, calcule mal et se perd dans les dates. Les données sensibles — les textes transitent par un service américain via Cloudflare, donc ce qu'on y envoie doit être décidé en amont.

Jev est pertinent là où une même petite bifurcation se répète souvent, où elle repose sur des critères clairs, et où une erreur dans un sens coûte moins cher que dans l'autre. Chez l'auteur, c'est le filtrage avant un modèle coûteux.