AWS et Artificial Genius montrent comment réduire les hallucinations des LLM en finance et en santé

AWS, avec son partenaire Artificial Genius, a montré comment adapter les grands modèles de langage à des tâches où l'erreur est inacceptable. L'approche repose sur Amazon Nova et SageMaker, mais l'idée clé n'est pas une nouvelle taille de modèle : il s'agit d'exploiter sa compréhension du langage sans lui laisser générer librement la réponse.

Pourquoi c'est un problème

Pour les services financiers, la santé, l'assurance et les processus juridiques, les LLM classiques paraissent encore risqués. Ils rédigent, résument et expliquent bien, mais restent par nature des systèmes probabilistes : le modèle prédit le token suivant au lieu d'extraire un fait garanti exact. D'où les hallucinations : des réponses qui paraissent convaincantes mais que les données sources ne confirment pas. Là où l'audit, la reproductibilité et la responsabilité comptent, ce mode de fonctionnement s'accorde mal avec la production.

Les auteurs de l'article proposent de voir l'évolution de l'IA en trois étapes. La première vague reposait sur la logique symbolique et des règles rigides : ces systèmes étaient déterministes, mais trop peu flexibles. La deuxième vague, qui inclut les transformeurs actuels, a apporté un bond considérable en fluidité et en compréhension du langage, mais aussi de l'imprévisibilité. Artificial Genius qualifie son approche de troisième génération : le modèle comprend toujours le langage naturel comme un LLM moderne, mais la réponse finale passe par une logique déterministe et ne doit pas dépasser ce qui figure réellement dans le contexte d'entrée.

Comment fonctionne le schéma

La thèse centrale d'AWS et d'Artificial Genius est la suivante : un modèle génératif peut être utilisé de façon strictement non générative. Autrement dit, il ne « complète » pas la réponse selon la probabilité du token suivant, mais vérifie s'il peut l'extraire du document et, si ce n'est pas possible, refuse de répondre. Ce mode est particulièrement utile pour les questions portant sur des dates, des montants, des noms, des extraits de rapport ou la confirmation d'un fait précis.

L'article le formule très directement :

«

Si la question n'a pas de réponse dans le document, le modèle doit répondre : "Unknown" ».

• Amazon Nova Lite a été choisi comme modèle de base, car il convient mieux à des réponses courtes et précises, sans bavardage superflu ;
• le réglage fin se fait dans SageMaker par supervised fine-tuning, afin que le modèle suive une seule règle système : ne rien inventer ;
• l'entraînement s'appuie sur un jeu synthétique de questions et réponses, comprenant des requêtes avec réponse et d'autres délibérément sans réponse ;
• au lieu du RAG classique, qui reste génératif, l'accent est mis sur un lien plus étroit entre le texte du document et la question précise ;
• le tout est empaqueté dans une plateforme d'agents, où une requête libre peut être convertie en spécification plus stricte, la seule vérification manuelle restant à l'étape de cette conversion.

Un détail important : les auteurs opposent explicitement leur méthode au conseil habituel de « mettre la temperature à zéro ». Selon eux, cela ne règle pas le problème de fond, car le modèle continue de générer. Dans leur variante, ce n'est pas seulement le degré d'aléa qui change, mais la logique même d'utilisation du modèle : la compréhension probabiliste est conservée en entrée, et en sortie le système tend vers un mode binaire : répondre uniquement avec ce que le texte confirme, ou dire honnêtement qu'il n'y a pas de réponse.

Ce que les tests ont montré

Techniquement, le schéma paraît plutôt terre à terre, et c'est ce qui le rend intéressant. Les données d'entraînement sont stockées dans Amazon S3, le réglage fin du modèle Nova de base s'exécute dans SageMaker Training Jobs, puis la version personnalisée est importée dans Amazon Bedrock et mise à disposition de l'application via le circuit d'inférence standard. Pour les équipes en entreprise, c'est important non seulement pour la commodité, mais aussi pour la traçabilité transparente des données : il est plus facile de savoir sur quoi le modèle a été entraîné, où il a été modifié et comment il a ensuite été déployé en production.

L'équipe a aussi dévoilé plusieurs enseignements d'ingénierie. Pour le fine-tuning, elle a utilisé LoRA afin de ne pas abîmer la compréhension linguistique de base du modèle. Lors d'expériences précédentes sur un autre modèle, elle a même dû désactiver de force le chain-of-thought via le token de service `</think>`, car le raisonnement développé nuisait aux réponses brèves et déterministes. Pour la version sur Nova Lite, les auteurs ont combiné un LoRA dropout de 50 %, un early stopping manuel et l'extension du jeu de données synthétique à 30 000 exemples. D'après eux, cela a fait passer le taux d'hallucinations de plusieurs pourcents, puis de fractions de pourcent dans les premières configurations, à 0,03 % dans la meilleure variante.

Ce que cela signifie

Cette histoire ne concerne pas que les utilisateurs d'AWS. Elle illustre un changement plus large : le marché commence à chercher non pas simplement les LLM les plus « intelligents », mais des modèles dont le comportement est encadré par l'ingénierie. Pour les banques, les assureurs, les cliniques et la legal tech, c'est un signal : l'adoption de l'IA s'articulera de plus en plus autour de la vérifiabilité, du refus de répondre et de workflows contrôlés, plutôt qu'autour d'une belle génération à tout prix.