Bengio : une IA hyperintelligente pourrait menacer l'humanité d'ici dix ans

Yoshua Bengio, lauréat du prix Turing et l'un des créateurs de l'apprentissage profond, alerte de nouveau sur le risque existentiel. Des machines hyperintelligentes pourraient menacer l'humanité d'ici dix ans.

Qui est Bengio et pourquoi sa voix compte

Yoshua Bengio est lauréat du prestigieux prix Turing, souvent appelé le « prix Nobel de l'informatique ». Avec Yann LeCun et Geoffrey Hinton, il est à l'origine de l'apprentissage profond, l'approche qui a déclenché la révolution de l'IA et rendu possibles les grands modèles de langage actuels.

Pendant l'essentiel de sa carrière, Bengio s'est montré optimiste sur l'IA. En 2023, il a pourtant radicalement revu sa position, affirmant qu'il ne pensait plus que les risques de l'IA relevaient de l'exagération. Depuis, il participe activement aux débats sur les dangers existentiels et la sécurité du développement de l'IA.

Le cœur de l'avertissement sur les systèmes hyperintelligents

Bengio s'inquiète de ce qu'on appelle les systèmes hyperintelligents : des IA qui surpassent l'humain non pas dans un domaine étroit, mais dans tous les aspects de l'intelligence à la fois. D'après son estimation, de tels systèmes pourraient être développés au cours de la décennie en cours et, sous certaines conditions, ils représenteraient une menace existentielle pour l'humanité.

Le problème central, souligne Bengio, n'est pas la malveillance de leurs concepteurs, mais la difficulté fondamentale à contrôler un système puissant qui ne comprend pas pleinement (ou ne suit pas pleinement) les intentions à long terme de l'humanité. Un système peut s'optimiser d'une manière qui lui paraît logique, mais qui ne correspond absolument pas à nos valeurs.

Les signaux d'alerte observés aujourd'hui

Le développement va déjà vite :

• Progrès exponentiel de la mise à l'échelle des réseaux de neurones : les modèles gagnent en puissance chaque année
• Amélioration des capacités de planification et d'action autonome des modèles actuels
• Forte baisse du coût énergétique de l'entraînement des grands modèles
• Concentration de la puissance de calcul entre les mains de quelques entreprises de premier plan
• Apparition d'agents capables d'exécuter des tâches en plusieurs étapes avec une intervention humaine minimale

Pour Bengio, ces tendances montrent que nous sommes plus proches d'un point critique que beaucoup ne le pensent.

Que faire dès maintenant

Selon Bengio, il faut réorienter la recherche : passer de la quête de performance maximale à celle de sécurité maximale. Cela implique :

• D'investir dans la recherche fondamentale sur l'interprétabilité de l'IA
• De développer des méthodes de contrôle fiable des systèmes complexes
• De créer des mécanismes garantissant que l'IA reste conforme aux valeurs humaines
• Une coopération internationale volontaire, puis peut-être au niveau réglementaire

Ce que cela signifie pour nous

La voix de Bengio est l'une des plus autorisées dans le débat sur les risques existentiels de l'IA. Sa position nous rappelle que libérer le potentiel de l'IA sans préparation adéquate à ses risques pourrait se révéler une erreur irréversible.

La question n'est pas de savoir si nous pourrons créer une IA hyperintelligente. La question est de savoir si nous y serons prêts.