Les failles de raisonnement de l'IA sont plus dangereuses que les mauvaises réponses

On sait que l'intelligence artificielle (IA) commet encore des erreurs. Mais un problème plus grave pourrait résider dans la façon dont elle parvient à ses conclusions. Alors que l'IA générative sert de plus en plus d'assistant, et plus seulement d'outil, deux nouvelles études montrent que la logique des modèles peut avoir de lourdes conséquences dans des domaines critiques comme la santé, le droit et l'éducation.

Ces dernières années, la précision des grands modèles de langage (LLM) pour répondre à des questions sur des sujets variés a nettement progressé. Cela a nourri un intérêt croissant pour le potentiel de cette technologie dans des tâches comme le diagnostic médical, l'accompagnement thérapeutique ou le tutorat virtuel. Des témoignages épars indiquent que les utilisateurs recourent déjà largement à des LLM prêts à l'emploi pour ce type de tâches, avec des résultats inégaux.

Récemment, une femme en Californie a fait annuler un avis d'expulsion grâce à une consultation juridique avec une IA, mais un homme de 60 ans a été victime d'une intoxication au bromure après avoir sollicité ces outils pour des conseils médicaux. Les thérapeutes préviennent que l'usage de l'IA comme soutien en santé mentale aggrave souvent les symptômes des patients.

Les nouvelles études suggèrent qu'une partie du problème tient au fait que ces modèles raisonnent de façon fondamentalement différente des humains, ce qui peut les faire « craquer » face à des problèmes plus complexes. Un article récent de Nature Machine Intelligence a établi que les modèles peinent à distinguer les croyances des utilisateurs des faits, tandis qu'un article non publié sur arXiv indique que les systèmes multiagents conçus pour fournir des conseils médicaux souffrent de défauts de raisonnement susceptibles de faire dérailler le diagnostic.

« À mesure que l'on passe de l'IA comme simple outil à l'IA comme agent, le “comment” devient de plus en plus important », déclare James Zou, professeur associé de science des données biomédicales à la faculté de médecine de Stanford et auteur senior de l'article de Nature Machine Intelligence. « Dès lors qu'on s'en sert comme substitut à un conseiller, un tuteur, un médecin ou même un ami, ce n'est pas seulement la réponse finale qui compte. C'est tout le processus et toute la conversation qui comptent vraiment. »

Les problèmes dans la façon dont les modèles prennent leurs décisions peuvent être particulièrement épineux en milieu médical. L'intérêt grandit pour les systèmes multiagents, dans lesquels plusieurs agents d'IA participent à une discussion collective pour résoudre un problème, dans l'espoir de reproduire les équipes pluridisciplinaires de médecins qui diagnostiquent des pathologies complexes, explique Lequan Yu, professeur assistant en IA médicale à l'Université de Hong Kong. Lui et ses collègues ont donc voulu étudier la manière dont ces systèmes raisonnent pour résoudre des problèmes, en testant six d'entre eux sur 3600 cas réels issus de six jeux de données médicales.

Les deux équipes de chercheurs affirment que les défauts de raisonnement des modèles peuvent être reliés à la manière dont ils sont entraînés. Les LLM les plus récents apprennent à raisonner sur des tâches complexes en plusieurs étapes grâce à l'apprentissage par renforcement, où le modèle est récompensé pour les chemins logiques qui mènent à la bonne conclusion. Mais ils sont généralement entraînés sur des tâches aux solutions précises, comme le code et les mathématiques, qui se prêtent mal à des tâches plus ouvertes, comme cerner les croyances subjectives d'une personne, explique Zou.

Se concentrer sur la récompense des résultats corrects signifie aussi que l'entraînement n'optimise pas les bons processus de raisonnement, selon Yu. Et les jeux de données incluent rarement les débats et discussions nécessaires à des systèmes médicaux multiagents efficaces, ce qui, selon lui, pourrait expliquer pourquoi les agents campent sur leur position, qu'ils aient raison ou tort.

Améliorer les méthodes d'entraînement, en particulier en accordant plus d'attention aux processus de raisonnement qu'aux seuls résultats finaux, est une étape clé. Constituer des jeux de données comprenant des exemples de collaboration et de débat efficaces pourrait aussi aider les modèles à développer une compréhension plus nuancée des problèmes complexes. Ce n'est qu'alors que nous pourrons nous appuyer en toute sécurité sur l'IA dans des domaines critiques comme la santé et l'éducation.