Pourquoi les modèles d'OpenAI, de Google et d'Anthropic sont plus convaincants, mais se trompent plus souvent

Le principal problème des plus grands laboratoires d'IA n'est pas aujourd'hui que leurs modèles manquent de conviction, mais que derrière une présentation assurée se cachent de plus en plus d'erreurs de plus haut niveau. Depuis deux ans, OpenAI, Google et Anthropic tentent de le résoudre en augmentant le calcul au moment de la réponse : ils ajoutent des chaînes de raisonnement, une recherche parmi plusieurs variantes, de l'autovérification et davantage de tokens par requête. De l'extérieur, cela ressemble à un progrès. Mais si le modèle de base n'est pas devenu plus exact, la « réflexion » supplémentaire ne fait que rendre ses erreurs plus harmonieuses et plus plausibles.

L'idée de passer à l'échelle l'inférence semble logique. Si l'on donne au modèle plus de temps et plus d'étapes pour résoudre une tâche, il devrait se tromper moins souvent. Dans la pratique, cette approche a bien éliminé une partie des défaillances superficielles : moins de bourdes factuelles grotesques, moins de réponses qui s'effondrent dès la première vérification, moins d'échecs en démonstration. C'est pourquoi les modèles de raisonnement font forte impression : ils s'expriment de façon plus cohérente, structurent mieux leur réponse et savent imiter un processus d'analyse rigoureux. Le problème, c'est que la cohérence d'un texte et la fiabilité d'une conclusion ne sont pas la même chose.

La différence est particulièrement nette entre hallucinations simples et profondes. Une hallucination simple, c'est une date inventée, un nom confondu ou un lien inexistant. On peut encore la repérer rapidement. Une erreur structurelle profonde est plus dangereuse : le modèle part d'une prémisse fausse, bâtit dessus une longue chaîne logique, y ajoute un ton assuré et livre une réponse cohérente et convaincante. L'utilisateur ne voit pas le chaos, mais un mensonge soigneusement présenté. Pour des tâches comme l'analyse, la préparation de documents, la programmation, la médecine ou le conseil juridique, ce type d'erreur est bien plus risqué qu'un simple raté aléatoire.

Les chiffres sont eux aussi inquiétants. Dans une comparaison récente, de grands modèles d'OpenAI affichaient sur le benchmark SimpleQA un taux d'hallucination d'environ 50 %. Si une réponse sur deux à des questions factuelles simples est fausse ou inventée, il ne s'agit plus d'un défaut cosmétique, mais d'une vulnérabilité systémique.

Certes, tout benchmark a ses limites : beaucoup dépend des formulations, de la méthodologie d'évaluation et de la version précise du modèle. Mais la tendance est révélatrice. Les versions deviennent plus éloquentes et plus coûteuses en calcul, alors que la fiabilité profonde ne progresse pas au même rythme, et semble parfois même se dégrader.

Dans les usages en entreprise, cela suffit pour qu'une erreur se glisse sans être remarquée dans une présentation, un rapport ou une base de code.

La cause tient peut-être à l'approche elle-même. Le calcul supplémentaire au stade de l'inférence ne crée pas de connaissance nouvelle et ne corrige pas les faiblesses des données d'entraînement. Il pousse seulement le modèle à chercher plus longtemps une réponse dans un espace de représentations déjà existant. Si la vision du monde du modèle est déformée, une longue chaîne de raisonnement ne le mènera pas forcément à la vérité. Au contraire, elle peut renforcer l'effet d'autoconfirmation : le modèle revérifie plusieurs fois la même hypothèse fausse, avec d'autres mots, et rend ainsi l'erreur encore plus convaincante.

Il en résulte un paradoxe : plus de calcul réduit la probabilité d'une erreur stupide, mais augmente le risque d'une belle erreur. Plus le système paraît sûr de lui, moins l'utilisateur a de chances de s'arrêter à temps pour vérifier le fondement du raisonnement.

D'où une conclusion plus large pour le marché. La menace pour les leaders de l'IA peut venir non seulement d'un nouveau « supermodèle », mais d'équipes capables de bâtir des systèmes plus fiables au-dessus des modèles : avec un retrieval de qualité, un ancrage dans les sources, une calibration de la confiance, des vérifications factuelles strictes et une évaluation qui mesure non seulement la fluidité, mais aussi la véracité. Le vainqueur ne sera pas celui qui génère la réponse la plus longue, mais celui dont la réponse est digne de confiance dans le travail réel. Si l'industrie continue de confondre pouvoir de persuasion et intelligence, la fenêtre d'opportunité pour de nouveaux acteurs s'est bel et bien déjà ouverte.