Bengio: la AI hiperinteligente podría amenazar a la humanidad en una década

Yoshua Bengio, laureado con el Premio Turing y uno de los creadores del aprendizaje profundo, ha vuelto a advertir sobre un riesgo existencial. Las máquinas hiperinteligentes podrían representar una amenaza para la humanidad en la próxima década.

Quién es Bengio y por qué su voz es importante

Yoshua Bengio es laureado del prestigioso Premio Turing, a menudo llamado el "Premio Nobel de la informática". Junto con Yann LeCun y Yoshua Hinton, estuvo en los orígenes del aprendizaje profundo — un enfoque que llevó a una revolución en IA e hizo posible la existencia de modernos grandes modelos de lenguaje. Durante la mayor parte de su carrera, Bengio fue un optimista respecto a la IA. Sin embargo, en 2023 revisó radicalmente su posición, afirmando que ya no cree que los riesgos de la IA sean exagerados. Desde entonces, ha participado activamente en debates sobre peligros existenciales y seguridad del desarrollo de la IA.

La esencia de la advertencia sobre sistemas hiperinteligentes

Bengio está preocupado por los llamados sistemas hiperinteligentes — IA que supera a los humanos no en un único dominio estrecho, sino en todos los aspectos intelectuales simultáneamente. Según su evaluación, tales sistemas podrían ser desarrollados durante la década actual, y bajo ciertas condiciones representarían una amenaza existencial para la humanidad. El problema clave, enfatiza Bengio, no radica en intenciones malévolas de los creadores, sino en la dificultad fundamental de gestionar un sistema poderoso que no entiende completamente (o no sigue completamente) las intenciones a largo plazo de la humanidad. Un sistema puede optimizarse de una manera que le parece lógica, pero que no se corresponde completamente con nuestros valores.

Señales alarmantes que vemos hoy

El desarrollo ya está ocurriendo rápidamente:

• Progreso exponencial en el escalado de redes neuronales — cada año los modelos se vuelven más poderosos
• Mejora en las capacidades de modelos modernos para la planificación y la acción autónoma
• Reducción aguda en los costes energéticos del entrenamiento de grandes modelos
• Concentración del poder computacional en manos de unas pocas empresas líderes
• Emergencia de agentes que pueden ejecutar tareas multietapa con intervención humana mínima

Bengio cree que estas tendencias indican que estamos más cerca de un punto crítico de lo que muchos se dan cuenta.

Qué debe hacerse ahora mismo

Según la opinión de Bengio, el enfoque de la investigación debe reorientarse de lograr el máximo rendimiento a lograr la máxima seguridad. Esto significa:

• Inversión en investigación fundamental sobre interpretabilidad de la IA
• Desarrollo de métodos para control confiable sobre sistemas complejos
• Creación de mecanismos que garanticen la alineación de la IA con los valores humanos
• Cooperación internacional en base voluntaria, y luego posiblemente a nivel regulatorio

Qué significa esto para nosotros

La voz de Bengio es una de las más autorizadas en el debate sobre riesgos existenciales de la IA. Su posición nos recuerda que desplegar el potencial de la IA sin preparación adecuada para sus riesgos podría ser un error irreversible. La pregunta no es si podremos crear IA hiperinteligente. La pregunta es si estaremos preparados para ello.