Bengio : une AI hyperintelligente pourrait menacer l'humanité d'ici dix ans

Yoshua Bengio, lauréat du prix Turing et l'un des créateurs de l'apprentissage profond, a de nouveau averti d'un risque existentiel. Les machines hyperintelligentes pourraient représenter une menace pour l'humanité dans la décennie à venir.

Qui est Bengio et pourquoi sa voix est-elle importante

Yoshua Bengio est lauréat du prestigieux prix Turing, souvent appelé le « prix Nobel de l'informatique ». Avec Yann LeCun et Yoshua Hinton, il était à l'origine de l'apprentissage profond — une approche qui a mené à une révolution dans l'IA et rendu possible l'existence de modèles de langage volumineux modernes. Pendant la majeure partie de sa carrière, Bengio a été un optimiste concernant l'IA. Cependant, en 2023, il a radicalement révisé sa position, affirmant qu'il ne croit plus que les risques de l'IA sont exagérés. Depuis, il participe activement aux débats sur les dangers existentiels et la sécurité du développement de l'IA.

L'essence de l'avertissement sur les systèmes hyperintelligents

Bengio est préoccupé par les soi-disant systèmes hyperintelligents — une IA qui surpasse les humains non pas dans un seul domaine étroit, mais dans tous les aspects intellectuels simultanément. Selon son évaluation, de tels systèmes pourraient être développés au cours de la décennie actuelle, et dans certaines conditions, ils représenteraient une menace existentielle pour l'humanité. Le problème fondamental, souligne Bengio, ne réside pas dans les intentions malveillantes des créateurs, mais dans la difficulté fondamentale de gérer un système puissant qui ne comprend pas complètement (ou ne suit pas complètement) les intentions à long terme de l'humanité. Un système peut s'optimiser d'une manière qui lui semble logique, mais qui ne correspond complètement pas à nos valeurs.

Les signaux alarmants que nous voyons aujourd'hui

Le développement se fait déjà rapidement :

• Progrès exponentiel de l'évolutivité des réseaux de neurones — chaque année, les modèles deviennent plus puissants
• Amélioration des capacités des modèles modernes pour la planification et l'action autonome
• Réduction nette des coûts énergétiques de la formation des grands modèles
• Concentration du pouvoir de calcul entre les mains de quelques entreprises leaders
• Émergence d'agents qui peuvent exécuter des tâches multi-étapes avec une intervention humaine minimale

Bengio estime que ces tendances indiquent que nous sommes plus près d'un point critique que beaucoup ne le réalisent.

Ce qui doit être fait dès maintenant

Selon Bengio, l'accent de la recherche doit être réorienté de la réalisation du rendement maximal à la réalisation de la sécurité maximale. Cela signifie :

• Investissement dans la recherche fondamentale sur l'interprétabilité de l'IA
• Développement de méthodes de contrôle fiable sur les systèmes complexes
• Création de mécanismes qui garantissent l'alignement de l'IA avec les valeurs humaines
• Coopération internationale sur une base volontaire, puis éventuellement au niveau réglementaire

Ce que cela signifie pour nous

La voix de Bengio est l'une des plus faisant autorité dans le débat sur les risques existentiels de l'IA. Sa position nous rappelle que libérer le potentiel de l'IA sans préparation adéquate à ses risques pourrait être une erreur irréversible. La question n'est pas de savoir si nous pouvons créer une IA hyperintelligente. La question est de savoir si nous y serons préparés.