Bengio: una IA hiperinteligente podría amenazar a la humanidad en una década

Yoshua Bengio, premio Turing y uno de los creadores del aprendizaje profundo, ha vuelto a advertir del riesgo existencial. Las máquinas hiperinteligentes podrían suponer una amenaza para la humanidad en la próxima década.

Quién es Bengio y por qué su voz importa

Yoshua Bengio es ganador del prestigioso premio Turing, a menudo llamado el "Nobel de la informática". Junto con Yann LeCun y Geoffrey Hinton estuvo en los orígenes del aprendizaje profundo, el enfoque que desencadenó la revolución de la IA y que hizo posibles los grandes modelos de lenguaje actuales.

Durante la mayor parte de su carrera, Bengio fue optimista respecto a la IA. Sin embargo, en 2023 revisó radicalmente su postura y afirmó que ya no creía que los riesgos de la IA fueran una exageración. Desde entonces participa activamente en los debates sobre los peligros existenciales y la seguridad del desarrollo de la IA.

El núcleo de la advertencia sobre los sistemas hiperinteligentes

A Bengio le preocupan los llamados sistemas hiperinteligentes: IA que supera al ser humano no en un único ámbito concreto, sino en todos los aspectos intelectuales a la vez. Según su estimación, estos sistemas podrían desarrollarse en la década actual y, bajo determinadas condiciones, representarían una amenaza existencial para la humanidad.

El problema clave, subraya Bengio, no son las malas intenciones de sus creadores, sino la dificultad fundamental de controlar un sistema poderoso que no comprende del todo (o no sigue del todo) las intenciones a largo plazo de la humanidad. Un sistema puede optimizarse de una forma que le parece lógica, pero que no se corresponde en absoluto con nuestros valores.

Señales de alarma que vemos hoy

El desarrollo ya avanza rápido:

• Progreso exponencial en el escalado de redes neuronales: cada año los modelos son más potentes
• Mejora de la capacidad de los modelos actuales para planificar y actuar de forma autónoma
• Fuerte reducción del coste energético de entrenar grandes modelos
• Concentración de la capacidad de cómputo en unas pocas empresas líderes
• Aparición de agentes capaces de ejecutar tareas de varios pasos con una intervención humana mínima

Bengio considera que estas tendencias indican que estamos más cerca de un punto crítico de lo que muchos creen.

Qué hay que hacer ahora mismo

Según Bengio, es necesario reorientar el foco de la investigación: de lograr el máximo rendimiento a lograr la máxima seguridad. Esto implica:

• Invertir en investigación fundamental sobre interpretabilidad de la IA
• Desarrollar métodos de control fiable sobre sistemas complejos
• Crear mecanismos que garanticen que la IA se ajuste a los valores humanos
• Cooperación internacional de carácter voluntario y, después, posiblemente también a nivel regulatorio

Qué significa para nosotros

La voz de Bengio es una de las más autorizadas en el debate sobre los riesgos existenciales de la IA. Su postura nos recuerda que liberar el potencial de la IA sin una preparación adecuada para sus riesgos puede resultar un error irreversible.

La cuestión no es si podremos crear una IA hiperinteligente. La cuestión es si estaremos preparados para ello.