Satya Nadella pide tratar a los modelos de IA como si estuvieran comprometidos y propone cuatro medidas

Satya Nadella, director ejecutivo de Microsoft, ha propuesto tratar todos los modelos de IA como potencialmente comprometidos y presentó un conjunto de medidas de protección. Sus declaraciones replantean el enfoque de seguridad en un momento en que los sistemas de inteligencia avanzados penetran cada vez más en áreas críticas de la economía y la infraestructura.

El problema principal: cajas negras

Nadella señala el problema de fondo: los modelos de IA se perciben como un "conjunto de cajas negras anidadas" cuyas decisiones simplemente aceptamos o rechazamos. No vemos la lógica del modelo ni controlamos sus acciones. Su solución es un sistema más transparente: los modelos deben estar aislados, ser observables y dejar "rastros a prueba de manipulación y comprensibles para los humanos".

Cuatro pilares de la seguridad

1. Asumir el compromiso desde el principio. Nadella pide partir de la base de que cualquier modelo puede ser vulnerado. El modelo debe mantenerse en un entorno aislado desde su puesta en marcha. El concepto es un "freno de emergencia": un usuario autorizado siempre debe poder pausar o desconectar el modelo, incluso durante la ejecución de una tarea concreta.

2. Auditorías independientes. Los modelos necesitan revisiones periódicas de terceros sin interés en su éxito comercial. Esto permite detectar vulnerabilidades ocultas y comportamientos anómalos.

3. Divulgación oportuna de incidentes. Las empresas deben informar de inmediato sobre los problemas y vulnerabilidades detectados, sin ocultamientos ni demoras.

4. Datos verificables. Todos los conjuntos de datos con los que se entrena un modelo y que utiliza deben ser transparentes y susceptibles de verificación independiente.

Estandarización a nivel de la industria

Nadella subraya que los modelos más avanzados requerirán tecnologías de aislamiento más complejas. Sin estándares comunes, cada empresa desarrollará su propio enfoque, lo que generará vacíos e incoherencias en la protección. La industria, dice, debe acordar métodos y requisitos compartidos.

Esta postura se inserta en el creciente debate sobre el control de la IA, aunque el propio Nadella recibe críticas por su terminología: llama a la IA "superinteligencia", algo que sus críticos consideran innecesariamente alarmista.