Nate Soares explica en el pódcast de Bloomberg por qué no se puede «alinear» la IA

Bloomberg ha publicado una conversación con Nate Soares, presidente del Machine Intelligence Research Institute (MIRI). En 2025 Soares publicó, junto con Eliezer Yudkowsky, el libro «If Anyone Builds It, Everyone Dies». Su idea central cabe en el título: si alguien construye una IA superinteligente, morirán todos. El anuncio del pódcast señala que, tras el incidente de Hugging Face, las conversaciones sobre escenarios apocalípticos han dejado de ser marginales y han pasado al discurso dominante. El material no precisa qué ocurrió exactamente en la plataforma, por lo que aquí no es posible evaluar la magnitud del incidente.

Una vieja inquietud en un contexto nuevo

Soares y MIRI trabajan en el problema de la seguridad de la IA desde mucho antes de ChatGPT y de los grandes modelos de lenguaje. Entonces su postura solía considerarse una rareza; ahora las noticias obligan a volver a ella. El pódcast intenta explicar por qué alguien que lleva décadas dedicado a este asunto considera que el riesgo no es hipotético, sino lógico y previsible.

La conversación gira en torno a dos preguntas: por qué, según Soares, una IA superinteligente no se puede «alinear» (es decir, lograr de forma fiable que sus objetivos coincidan con los humanos) y cómo exactamente la tecnología se saldrá de control a medida que crezcan sus capacidades.

Tesis clave de la conversación

Del anuncio y del libro en el que se apoya se pueden extraer varias posiciones:

• Los autores consideran que la extinción de la humanidad es una consecuencia inevitable de crear una superinteligencia, y no uno de los posibles desenlaces.
• Alinear los objetivos de un sistema superinteligente con los humanos es, en su opinión, una tarea prácticamente irresoluble.
• El peligro crece con las capacidades: cuanto más capaz es un sistema, menos posibilidades hay de detenerlo cuando algo sale mal.
• Soares dirige MIRI, una organización que trabaja en esta cuestión desde la era precomercial de los grandes modelos.
• Formato: un episodio de Bloomberg Tech con una explicación extensa, y no un comentario breve.

Dónde es vulnerable el argumento

Los escépticos de la industria rebaten estos escenarios por varias vías. Señalan que la «destrucción inevitable» carece de base empírica: ningún sistema existente ha demostrado capacidad para tomar el control del mundo. También siguen en discusión tanto los plazos de aparición de una superinteligencia como la propia posibilidad de crearla con las arquitecturas actuales. Los partidarios de Soares responden que esperar a tener pruebas no tiene sentido, porque después del primer ejemplo real será demasiado tarde para corregir nada.

El anuncio no incluye cifras concretas, pronósticos de plazos ni detalles del mecanismo de «fuga», así que la argumentación completa solo se puede conocer escuchando el episodio. Tampoco queda claro en el texto cómo vincula Soares el caso de Hugging Face con sus conclusiones.

Qué hacer con esto en la práctica

Para los equipos que construyen productos sobre modelos, la conclusión más útil es más modesta que la apocalíptica. El debate sobre los riesgos ha salido del nicho académico, y reguladores, clientes e inversores preguntarán cada vez más por cómo se organizan el control de acceso, la evaluación de capacidades peligrosas y los procedimientos para detener los sistemas. Quienes publican modelos abiertos o los alojan en plataformas públicas deberían definir con antelación una política de respuesta a incidentes, en lugar de redactarla cuando el incidente ya ha ocurrido.

Para el lector que intenta orientarse, el consejo principal es escuchar a ambas partes. Conviene conocer la postura de Soares y Yudkowsky, aunque no se comparta, porque es la que fija el marco en el que ahora se discuten las propuestas más duras de regulación de la IA. El episodio completo se puede encontrar en Bloomberg.