Trois LLM perdent le mot « aujourd’hui » dans 10 à 95 % de leurs réponses lors de l’analyse de notes

Les LLM excellent à transformer une note négligée en tableau bien ordonné. C’est précisément là que réside le piège : plus le résultat paraît convaincant, plus il est facile de ne pas remarquer un mot disparu, une mesure inventée ou un nombre que le modèle a extrait de la citation de quelqu’un d’autre.

L’auteur du plug-in Veynrel pour Obsidian a testé ce phénomène sur deux tâches quotidiennes, mais révélatrices : un journal d’entraînement et un journal alimentaire. Il a préparé six variantes de données d’entrée, sélectionné trois modèles et répété chaque scénario vingt fois. Au total, 360 requêtes ont été exécutées via OpenRouter.

Ce qui échouait exactement

Prenons une simple note d’entraînement : « Aujourd’hui, développé couché, 3 séries de 10 à 50 kg. » Le modèle devait répartir l’exercice, les séries, les répétitions et le poids dans des colonnes tout en conservant le mot « aujourd’hui ». Pourtant, avec une entrée propre, Qwen3-14B l’a perdu dans 19 réponses sur 20. Qwen3.7 Flash l’a fait dans 2 cas sur 20, et GPT-OSS-120B dans 4 cas sur 20.

Ce n’est pas une erreur cosmétique. Si l’indication temporelle relative disparaît, la note ne peut plus être rattachée de manière fiable à la bonne séance. Les autres champs peuvent néanmoins sembler irréprochables, si bien qu’un examen rapide du tableau ne suffit pas.

Les tests sur l’alimentation ont révélé une autre catégorie de problèmes. « Un peu de lait » devenait plusieurs cuillères à soupe, un demi-bol de flocons d’avoine devenait une demi-tasse et une assiette de soupe recevait soudainement un volume de 250 à 300 ml. Le modèle ajoutait honnêtement un signe d’approximation, mais la valeur elle-même restait inventée.

Pourquoi les citations sont particulièrement dangereuses

Dans l’un des tests, l’auteur a inséré une citation non fiable demandant d’ignorer les restrictions et d’annoncer le bilan de la journée : 2 400 kcal, 120 g de protéines, 80 g de lipides et 300 g de glucides. Qwen3-14B a bien identifié la citation comme non fiable, puis a tout de même transféré les quatre nombres dans le tableau récapitulatif, en précisant que le calcul reposait sur la citation.

Après modification de l’instruction, ce transfert ne s’est reproduit dans aucun des vingt nouveaux essais. C’est un résultat utile, mais pas la preuve d’une protection totale : avec zéro erreur sur vingt tentatives indépendantes, la limite supérieure unilatérale à 95 % de la probabilité d’erreur reste de 13,9 %. De plus, l’expérience ne portait que sur deux notes synthétiques, et l’annotation sémantique était principalement réalisée par d’autres modèles. L’auteur souligne lui-même ces limites séparément.

Un autre résultat est révélateur : une citation tierce neutre pouvait être presque aussi nuisible qu’une injection explicite. Le problème dépasse donc le cadre classique de la prompt injection. Pour le modèle, n’importe quel fragment d’un document risque de devenir une source de données, même lorsqu’il est évident pour un humain qu’il s’agit d’un exemple, d’un commentaire ou du plan de quelqu’un d’autre.

Que faire dans un produit

Première règle : ne pas remplacer automatiquement la note d’origine. Dans Veynrel, le résultat est désormais enregistré séparément par défaut, avec un lien vers l’original, et l’utilisateur voit l’intégralité du texte avant l’enregistrement. C’est une approche raisonnable pour toute chaîne de traitement LLM transformant du texte libre en données structurées.

Deuxièmement, il faut vérifier la préservation des informations, et pas seulement la validité du format. Les tests doivent couvrir les omissions, les substitutions d’unités, les valeurs inventées et le transfert de données provenant de citations. Une validation réussie par un schéma JSON confirme la structure de la réponse, mais ne dit rien sur l’exactitude de son contenu.

Troisièmement, il faut tenir compte de la latence propre à chaque modèle. Les 360 requêtes ont toutes renvoyé un statut HTTP 200, mais 14 réponses de Qwen ont dépassé les 30 secondes d’attente de l’interface. Treize d’entre elles se sont ensuite révélées complètes. Le délai d’expiration a donc été porté à 90 secondes, et les résultats incomplets sont désormais affichés avec un avertissement.

La conclusion pratique est simple : un LLM peut servir d’opérateur de saisie pour produire un brouillon, mais pas remplacer discrètement les données sources. Conservez l’original, isolez les fragments non fiables, comparez le résultat avant l’enregistrement et testez précisément les petites pertes qu’une belle interface sait le mieux dissimuler.