Comment vérifier un LLM à la main et par script : 12 leçons tirées de la traduction et des guides de tailles

Lorsqu'on intègre un LLM dans un processus métier existant, la question n'est plus de savoir si le modèle sait traduire ou trouver des données. Elle est de savoir ce qui se passe quand il se trompe. Les auteurs d'une analyse publiée sur Habr ont rassemblé 12 enseignements issus de deux tâches en production : la traduction automatique de produits de l'anglais vers le russe et la recherche de guides de tailles.

Deux tâches, deux stratégies

Première tâche : des dizaines de milliers de titres et de descriptions par jour. L'erreur y est peu coûteuse, l'original et la photo sont à portée de main, et un tel volume ne peut pas être vérifié manuellement. Le dispositif repose donc sur plusieurs modèles, un LLM-juge et des contrôles par script, complétés par un audit par échantillonnage.

Seconde tâche : trouver un guide de tailles à partir de l'association « marque + type de produit + taille + genre », par exemple Nike, baskets, 11 US, homme. L'erreur coûte cher : une semelle intérieure de 260 mm au lieu de 250 mm entraîne un retour. Le volume est modéré, c'est pourquoi un humain vérifie chaque entrée. Deux modèles dotés de recherche web (OpenAI et Gemini) cherchent le guide indépendamment, Claude joue le rôle de juge, et un humain effectue la vérification finale.

D'où une matrice simple : évaluez le coût de l'erreur et le volume quotidien, et la stratégie de vérification devient évidente.

Ce qui aide réellement

Le contexte compte plus que les prompts astucieux. Au début, seul le titre était traduit ; la qualité s'est améliorée après l'ajout de la description, du site, de la catégorie et du lien. Chez Walmart, l'attribut d'une seule lettre « N » (abréviation de « No ») était traduit par « North » tant que le nom de l'attribut n'était pas fourni. Chez DoorDash, de nombreuses « erreurs du juge » provenaient en réalité d'un manque d'informations. Si le modèle se trompe, vérifiez d'abord qu'il dispose de suffisamment de données.

Placez la justification avant la réponse. Le modèle cite la règle du prompt ou un extrait littéral de la page, et seulement ensuite la valeur. Il y a moins d'inventions, et le vérificateur retrouve plus facilement la source.

Le juge doit répondre « oui » ou « non ». L'équipe a abandonné l'échelle à cinq niveaux : elle n'a trouvé aucune différence entre les notes 3 et 5. L'auto-évaluation de la confiance du modèle est elle aussi inutile : une réponse notée « 10 sur 10 » correspondait en fait à une valeur du guide féminin au lieu du masculin. La concordance de deux modèles ne suffit pas non plus, car ils se trompent souvent de la même façon ; il faut donc les deux signaux : la concordance et l'approbation du juge.

Les scripts battent les LLM là où la tâche est déterministe. Pour les tailles en pouces, livres et onces, le modèle oublie parfois de convertir ou se trompe dans le calcul. Des expressions régulières comparent les nombres de l'original et de la traduction, et, lorsque c'est possible, la conversion est faite avec des coefficients, sans modèle.

Outils et processus

Pour la vérification manuelle, l'équipe a développé une extension Chrome. Elle prend un JSON de résultats, ouvre la page source, surligne la valeur trouvée (ou lance une recherche Google si le guide est absent), et la décision se prend avec des raccourcis clavier. En sortie, le JSON est envoyé vers l'interface d'administration. La vitesse de vérification a été multipliée par des dizaines.

Quelques autres pratiques : enregistrer la version du modèle et du prompt pour chaque résultat, rejouer un jeu de référence à chaque changement de combinaison, impliquer tôt les category managers (ils ont repéré des imprécisions dans la traduction des cosmétiques et des médicaments), et contrôler manuellement un échantillon une fois par mois. Il faut tester précisément le couple « modèle + prompt », car un même prompt se comporte différemment selon les modèles.

Limites et conclusion

Il s'agit du retour d'expérience de deux tâches précises, l'article ne fournit aucun chiffre de précision, et les conclusions sur des cas de niche comme les guides de tailles ne sont pas forcément transposables à d'autres domaines. Mais la logique est universelle : on peut confier à un LLM les processus à coût d'erreur faible ou moyen, tandis que les processus critiques doivent être vérifiés à la main jusqu'à ce que l'historique atteigne plusieurs mois sans erreur. Il faut transformer les erreurs et les réclamations en corrections de prompts : erreur, analyse, correction, moins d'erreurs de ce type.

C'est en substance ce que fait Walmart : les linguistes ne corrigent pas les traductions à la main, ils formulent une règle qui s'applique à tout le catalogue.