Un modèle filtre bon marché devant Claude Sonnet : la formulation de la question a fait passer l'AUC à 0,95

Près de la moitié des contenus que l'auteur sauvegarde dans Telegram pour son blog ne servent à rien pour celui-ci. Pourtant, Claude Sonnet rédige consciencieusement, une fois par jour, une analyse complète de chacun d'eux et gaspille des tokens. La solution relève de la cascade classique : placer devant le modèle coûteux un modèle bon marché, qui décide si cela vaut la peine de l'appeler. L'auteur a décrit sur Habr les résultats de ses deux premières semaines.

Le problème et le schéma

La situation de départ parlera à quiconque exploite un pipeline de contenu fondé sur des LLM. Sauvegarder dans les « Messages enregistrés » est facile, et tout y atterrit : actualités, liens, articles utiles ou non. Sonnet prend ensuite le relais et prépare une analyse pour chaque élément. Une partie de ce flux n'ira jamais dans le blog, quelles que soient les conditions, mais chaque analyse est facturée.

Devant Sonnet, l'auteur a placé un petit modèle qu'il appelle Jev. Celui-ci ne rend pas de verdict du type « on garde » ou « on écarte ». Il répond par la probabilité que le contenu convienne au blog. Le seuil de coupure peut être déplacé sans toucher au modèle lui-même. Pour une tâche où le coût de l'erreur est asymétrique, c'est plus pratique qu'une réponse binaire : laisser passer un bon contenu coûte plus cher qu'une analyse superflue.

La question compte plus que le modèle

Le principal enseignement de la publication est que la formulation de la question posée au filtre a pesé plus lourd sur le résultat que le choix du modèle. Selon la métrique AUC, les deux variantes de l'énoncé de la tâche se séparent à 0,46 et 0,95.

Le premier chiffre est pire qu'un tirage à pile ou face : un AUC de 0,5 signifie que le modèle ne distingue pas l'utile de l'inutile. Le second se rapproche de celui d'un bon classifieur. Cet écart est obtenu sans changer les poids ni procéder à un fine-tuning, uniquement par la façon de poser la question. Pour qui hésite entre « prendre un modèle plus gros » et « réécrire le prompt », c'est un argument en faveur de la seconde option. Mieux vaut d'abord mesurer l'AUC sur un échantillon annoté, et seulement ensuite changer de modèle.

Ce que l'on sait grâce à l'annonce

• Flux d'entrée : tout ce que l'auteur sauvegarde dans Telegram.
• Modèle coûteux : Claude Sonnet, un passage par jour.
• Part de contenus superflus : près de la moitié des sauvegardes pour le blog.
• Filtre : le modèle bon marché Jev, réponse sous forme de probabilité.
• Qualité : AUC de 0,46 contre 0,95 selon la formulation de la question.
• Observation : journal de deux semaines de fonctionnement.
• Protection : le code comporte des garde-fous, dont le fonctionnement est détaillé dans l'article complet.

L'annonce ne donne pas certains détails : les prix, le seuil exact, la taille de l'annotation, la part de faux rejets. Sans eux, impossible d'évaluer l'économie réelle ; il faut lire le texte complet pour vérifier.

Ce que l'on peut en retenir

Le schéma se transpose à tout pipeline où un modèle coûteux traite un flux hétérogène : tri de demandes, modération, triage de signalements, préparation de digests. Voici quelques étapes pratiques qui découlent de l'expérience de l'auteur :

1. Annotez à la main au moins un petit échantillon et calculez l'AUC avant la mise en production. Sans cela, une erreur de formulation passera inaperçue. 2. Demandez au filtre une probabilité, pas un oui ou un non. Le seuil se règle alors séparément. 3. Prévoyez des garde-fous : que se passe-t-il si le filtre est indisponible, répond de façon étrange ou écarte trop de contenus ? Un comportement par défaut sûr vaut mieux qu'une perte silencieuse de contenus. 4. Tenez un journal des décisions du filtre et passez régulièrement en revue ce qui a été écarté. Deux semaines d'enregistrements montrent ce que l'on ne voit pas au démarrage.

La méthode n'exige ni nouveaux modèles ni nouvelle infrastructure. Un appel peu coûteux placé devant l'appel coûteux et de la discipline dans les mesures suffisent.