MLCommons lanza AILuminate: cómo medir ahora los riesgos de la IA en dinero

El riesgo ya está en la contabilidad

La teoría de la gestión de riesgos de IA no es una filosofía nueva. Cualquier organización madura ya aplica un ciclo de gestión de riesgos: identifica vulnerabilidades, estima las pérdidas esperadas, aplica controles proporcionales al tamaño del riesgo e informa a quien es responsable de ello. Las aseguradoras lo valoran, los auditores lo comprueban, los consejos de administración lo aprueban.

Pero el coste de los fallos crece. El estudio IBM Cost of a Data Breach de 2025 mostró que el coste promedio de una filtración de datos es de $4.44 millones a nivel global, y un récord de $10.22 millones en Estados Unidos. El 63% de las organizaciones vulneradas no tenía ninguna política de gestión de IA, o estaba todavía redactándola. Las empresas con una «IA en la sombra» desarrollada —cuando los sistemas se implementan de forma caótica y sin control— pierden en promedio $670.000 adicionales.

La regulación suma multas. El RGPD y la CCPA, estándares pensados antes de la IA generativa, ya limitan estrictamente qué decisiones puede tomar un sistema de IA. La EU AI Act prevé multas de hasta €35 millones o el 7% de la facturación global, lo que incentiva una gestión de riesgos proactiva.

Cómo la aviación se volvió segura

El beneficio de una buena gestión de un riesgo nuevo no es solo evitar pérdidas. Es la salud de todo el sector. En 1959, la aviación comercial estadounidense tenía aproximadamente 40 accidentes fatales por millón de vuelos. En una década, la cifra cayó por debajo de 2. En los últimos 50 años, el indicador siguió cayendo, aproximadamente a la mitad cada década.

La aviación se volvió segura porque el sector construyó un sistema de gestión de riesgos y lo fue perfeccionando sin pausa. Las mediciones generaron confianza, y la confianza permitió considerar los vuelos como algo rutinario. Varios miles de millones de pasajeros al año, además de aseguradoras y acreedores de más de 30.000 aviones comerciales, ahora tratan el vuelo como algo cotidiano.

El fin de la autoevaluación

La gestión de riesgos de IA exige mediciones honestas. Las farmacéuticas no auditan ellas mismas sus propios ensayos clínicos. Las empresas públicas no auditan ellas mismas sus propios informes financieros.

Pero en la industria de la IA, los proveedores todavía se califican a sí mismos, ejecutan sus propios benchmarks e informan sus propios resultados. El caso de la revisión de código: un proveedor ejecutó su propio benchmark y obtuvo un 82% de precisión en la detección de errores; un competidor recalculó sobre los mismos repositorios y obtuvo 45%; cuando un laboratorio independiente creó su propio benchmark, ningún proveedor superó el 63%. Los productos no cambiaron.

MLCommons lanzó en diciembre de 2024 AILuminate, una familia de benchmarks independientes con gobernanza por consenso que evalúan con qué fiabilidad un sistema de IA evita respuestas dañinas. Los crean grupos de trabajo con participación de empresas de IA, academia y sociedad civil. Los proveedores no redactan su propio examen, no ven las preguntas ni tienen en sus manos la hoja de calificación.

Qué hacer con las evaluaciones

Las puntuaciones por cada tipo de daño muestran dónde se concentra el riesgo para tu caso de uso concreto. Es la materia prima para el registro de riesgos.

Los resultados determinan los controles. Si un sistema pierde puntos bajo presión adversarial, eso es una señal concreta, respaldada por evidencia, para construir defensas a nivel de sistema, no un mandato vago de «tengan cuidado».

Prueba tu propia configuración. Este es el punto que la mayoría de los programas se saltan. Como comprador del sistema, prueba exactamente lo que vas a desplegar, usando el mismo test que el proveedor. La evaluación debe reflejar el funcionamiento real con tu integración; es la diferencia entre el consumo de combustible que figura en la etiqueta de un coche y el consumo en tu propia carretera. La etiqueta describe el banco de pruebas, no tu trayecto diario.

Agent Reliability Profile

La evaluación de un modelo muestra cómo funciona el modelo recién salido de la línea de producción. Pero no dice nada sobre cómo funcionará una vez desplegado. La mayoría de las empresas no despliegan modelos en bruto, sino modelos recubiertos: con prompts, conectados a datos internos, con herramientas, a veces funcionando como agentes. Precisamente ese recubrimiento es lo que hace útil al modelo, y también lo que lo hace frágil.

El grupo de trabajo financiero de MLCommons desarrolló el Agent Reliability Profile, un artefacto por cada agente que registra una afirmación concreta y refutable: este sistema funciona de forma fiable en el nivel de autonomía indicado, en el ámbito operativo de diseño indicado, bajo el marco de control indicado. No una sensación vaga sobre lo «fiable» que es un agente, sino una afirmación concreta que un auditor o una aseguradora puede verificar. Este perfil fue finalista del CDIR hackathon.

Trata la IA como cualquier otro riesgo

El riesgo de IA puede identificarse, valorarse en dinero, gestionarse de forma proporcional e informarse, igual que las empresas lo hacen desde hace décadas con el riesgo crediticio, la exposición cambiaria y la seguridad laboral. No es un freno para la adopción de la IA, sino una condición para ella. El riesgo ya está en tus libros. La única pregunta es si vas a medirlo.