Haiku rend un PASS et signale une erreur major dans la relecture de dix articles : analyse du rapport

Lors de la vérification de dix articles, le modèle Haiku a rendu, dans un même rapport, un verdict PASS et une remarque classée major, c'est-à-dire significative. Les auteurs de l'article publié sur Habr n'ont pas cherché à savoir lequel des deux signaux croire. Ils ont parcouru le rapport avec les sources sous les yeux et réparti les remarques en deux groupes : celles qui ont conduit à des corrections et celles qu'ils ont écartées. Ils ont aussi relevé séparément le contexte qui manquait au modèle lui-même.

Précision importante : l'annonce ne contient pas le texte intégral de l'analyse. On connaît l'échantillon, le type de contradiction et la structure générale des conclusions. Les erreurs concrètes, les formulations des prompts et la part des corrections retenues ne sont pas divulguées dans la partie publique ; elles ne sont donc pas extrapolées ici.

Où la logique du rapport déraille

PASS et major décrivent deux choses différentes. Le premier signifie généralement la décision finale : « le contenu peut passer ». Le second décrit la gravité d'une trouvaille isolée. Dans un schéma normal, un major doit bloquer le PASS ; si ce n'est pas le cas, deux champs de la même réponse du relecteur divergent.

La pratique courante connaît les causes de ce type d'écart dans les relectures par LLM, même si, pour ce cas précis, elles restent des hypothèses :

• le verdict et la liste des remarques sont générés l'un après l'autre, et le modèle ne les met pas toujours en cohérence ;
• la note globale répond à la question « le texte se lit bien et tient debout dans l'ensemble », alors que la remarque consigne un fait local ;
• un modèle compact voit le texte de l'article, mais pas le dépôt, les configurations ni les versions sur lesquelles l'article s'appuie.

Le dernier point rejoint la conclusion des auteurs : une partie des reproches tient au manque de contexte du modèle, et non à une erreur dans le texte.

Ce qu'a montré le recoupement avec les sources

Le recoupement avec les sources primaires a donné trois catégories de résultats. La première : les remarques confirmées, avec les articles corrigés en conséquence. La deuxième : les remarques écartées, parce que le modèle s'était trompé ou avait mal lu un passage. La troisième : les cas où l'on ne pouvait pas juger de la justesse de la remarque sans des données que le relecteur n'avait pas reçues.

La troisième catégorie est, en pratique, la plus utile. Elle ne mesure pas la qualité du modèle en général, mais les limites d'usage d'un couple précis « modèle plus données d'entrée ». Si le relecteur se trompe systématiquement sur des faits issus de sources externes, la solution consiste à élargir l'entrée, pas à changer de modèle.

Paramètres clés de l'expérience :

• relecteur : Haiku, un petit modèle de la gamme Claude d'après son nom ;
• échantillon : 10 articles ;
• contradiction constatée : verdict PASS malgré une remarque major ;
• méthode de vérification : recoupement manuel du rapport avec les sources ;
• résultat : corrections en partie retenues, en partie écartées, lacunes de contexte isolées à part.

Dix articles forment un échantillon trop petit pour en tirer des statistiques. Comme observation du comportement d'un pipeline, il suffit ; comme benchmark, non.

Comment construire ce type de relecture en pratique

La principale leçon pour ceux qui confient à un LLM la relecture de textes ou de code : ne vous fiez pas au seul champ de verdict. Si le rapport indique la gravité des remarques, mieux vaut calculer le résultat final par une règle extérieure au modèle. Tout major ou critical renvoie le contenu vers une vérification manuelle, quoi qu'indique le PASS.

Deuxième mesure : fournir au relecteur le contexte auquel renvoie le contenu vérifié. Fichiers sources, versions des bibliothèques, liens vers la documentation. Si le modèle ne voit pas un élément, il doit renvoyer le statut « données insuffisantes » plutôt qu'un PASS assuré. Ce statut mérite d'être écrit explicitement dans le prompt.

Troisième mesure : journaliser les écarts du type PASS plus major comme une métrique à part. Leur proportion indique dans quelle mesure on peut se fier au format du rapport, et signale le moment où il faut compliquer le schéma, par exemple en ajoutant une seconde passe ou un modèle plus puissant uniquement sur les cas litigieux.

Un modèle bon marché dans le rôle de relecteur reste une option viable tant que son verdict est contrôlé par des règles et non accepté de confiance.