Nadella pide dar por comprometidos todos los modelos de IA y plantea 4 medidas

El CEO de Microsoft, Satya Nadella, ha publicado en X un largo post en el que propone partir de la base de que cualquier modelo de IA avanzado puede estar comprometido y diseñar la defensa con ese supuesto. Señala cuatro medidas clave: divulgación oportuna de incidentes, auditoría independiente, datos verificables y aislamiento de los modelos (containment). El resultado debería ser un sistema que deje «tamper-proof human readable evidence», es decir, registros a prueba de manipulación y comprensibles para una persona sobre lo que hizo el modelo y por qué.

El fin de la era de las «cajas negras»

La tesis central del post: la IA ya no puede tratarse como un «conjunto de cajas negras anidadas» cuyos consejos y acciones simplemente aceptamos o rechazamos. Ese esquema funcionaba mientras el modelo redactaba correos y resumía documentos. Con agentes que acceden a los sistemas con los permisos del usuario, deja de funcionar. No se puede verificar un resultado si no está claro cómo se obtuvo. Y, con mayor razón, no se puede confiar en un modelo cuyos pesos, datos o instrucciones pueden haber sido alterados.

La fórmula de «considerar los modelos comprometidos» traslada a la IA el principio de zero trust, habitual en seguridad. La defensa se construye como si la intrusión ya hubiera ocurrido. Por tanto, todo lo que hace el modelo hay que limitarlo, observarlo y registrarlo.

Las cuatro medidas del post

Según el resumen de The Verge, la mayoría de las recomendaciones de Nadella coincide con lo que ya habían planteado otros actores del sector:

• Divulgación oportuna de incidentes. Los proveedores informan de fallos y vulneraciones de los modelos en plazos claros, y no a su discreción.
• Auditorías independientes. La revisión la realiza una parte sin vínculo con el desarrollador del modelo.
• Datos verificables. El origen de los datos de entrenamiento y de los datos de trabajo se puede acreditar.
• Containment. El modelo opera en un entorno acotado, y sus acciones son observables y dejan un rastro que no se puede falsificar.

Según señala The Verge, es en este último punto donde la postura de Nadella parece distinguirse del resto. El fragmento de la fuente se interrumpe justo ahí, así que no relatamos los detalles ni le atribuimos nada de más. El análisis completo está disponible en la fuente original.

Por qué pesan tanto estas palabras viniendo de Microsoft

Microsoft vende agentes de IA a clientes corporativos, mantiene la infraestructura en la nube sobre la que funcionan los modelos y es uno de los mayores actores del sector. Cuando un CEO así dice públicamente «asuman la compromisión», fija de hecho el listón de expectativas para clientes y reguladores. De paso, deja en una posición incómoda a los competidores que no están dispuestos a divulgar incidentes ni a admitir auditores.

Queda la pregunta principal: cómo se articulará exactamente ese registro «legible por humanos». Un log de cientos de miles de pasos de un agente que nadie lee no constituye una prueba. Por ahora hay más principios que estándares.

Qué pueden hacer los equipos ya

No será posible esperar a que existan estándares sectoriales, y los pasos básicos están al alcance hoy. Estas son nuestras conclusiones prácticas a partir de la lógica del post, no citas de Nadella.

• Ejecute los agentes en un sandbox con permisos mínimos y claves de acceso independientes.
• Escriba un registro de cada acción del modelo en un almacenamiento que el propio modelo no pueda modificar.
• Incluya en los contratos con proveedores de IA plazos de notificación de incidentes y el derecho a auditar.
• Documente el origen de los datos con los que realiza el fine-tuning de modelos o construye la búsqueda sobre documentos.
• Para operaciones con consecuencias irreversibles (pagos, borrados, producción), mantenga la confirmación humana.

Si por defecto se considera que un modelo no es fiable, el valor se desplaza de lo «inteligente» que sea a la calidad de la infraestructura de control que lo rodea. Quien construya antes esa capa obtendrá ventaja en las ventas corporativas.