Ironie du sort : des hallucinations dans les articles de NeurIPS, grande conférence d'IA

À l'ère de l'intelligence artificielle générative, même les conférences scientifiques les plus prestigieuses ne sont pas à l'abri. Une étude de la start-up GPTZero a mis au jour des cas d'« hallucinations » — des citations fictives générées par IA — dans des travaux présentés à NeurIPS, l'une des principales conférences d'intelligence artificielle. L'ironie est manifeste : une conférence consacrée aux avancées de pointe en IA est elle-même victime de ses effets secondaires.

GPTZero, une entreprise spécialisée dans la détection de textes générés par intelligence artificielle, a analysé un corpus d'articles acceptés à NeurIPS. Les résultats sont inquiétants : plusieurs travaux contenaient des références à des sources inexistantes, créées selon toute apparence par de grands modèles de langage (LLM). Cela jette le doute non seulement sur la qualité de certains articles, mais sur l'ensemble du système d'évaluation scientifique.

Le problème des hallucinations des LLM est bien connu. Entraînés sur d'énormes volumes de données, les modèles « inventent » parfois des faits ou des citations pour combler des lacunes dans leurs connaissances ou rendre le texte plus convaincant. Dans les travaux scientifiques, cela peut avoir de graves conséquences : la confiance dans la recherche s'érode et la vérification des résultats devient plus difficile.

La découverte de citations générées par IA dans les articles de NeurIPS soulève plusieurs questions importantes. D'abord, elle montre qu'il faut contrôler plus rigoureusement le recours à l'intelligence artificielle dans les travaux scientifiques. Les relecteurs doivent être plus attentifs aux détails et revérifier les sources citées. Ensuite, elle souligne l'importance de développer des outils de détection des textes générés par IA et de les intégrer au processus de publication scientifique.

Par ailleurs, cet incident invite à réfléchir à l'avenir de la recherche scientifique à l'ère de l'IA. D'un côté, l'intelligence artificielle peut devenir un outil puissant pour les chercheurs, en les aidant à analyser des données, à formuler des hypothèses et à rédiger des articles. De l'autre, il faut tenir compte des risques liés à son utilisation et prendre des mesures pour éviter les abus.

En définitive, la découverte d'hallucinations dans les articles de NeurIPS est un signal d'alarme. Elle rappelle que l'intelligence artificielle n'est qu'un outil et que son usage exige responsabilité et esprit critique. La communauté scientifique doit élaborer des règles et des procédures claires pour travailler avec l'IA, afin de garantir la qualité et la fiabilité de la recherche scientifique.