La culpa no es del modelo, sino de la arquitectura: análisis de tres incidentes de IA muy sonados (Deloitte, cámaras con IA, un agente)

Un ingeniero que diseña sistemas de producción basados en grandes modelos de lenguaje (LLM) ha analizado tres incidentes de IA muy sonados y concluye que, en los tres, la culpa no es del modelo en sí, sino de la arquitectura que falta a su alrededor. El análisis se ha publicado en Habr.

Qué tienen en común los tres incidentes

Lo que une a los tres incidentes no es el tipo de error, sino su origen: el código que rodea al LLM lo escribieron personas que saben redactar prompts, pero no saben diseñar arquitectura. Los agujeros, sin embargo, aparecieron en tres puntos completamente distintos del sistema.

• Deloitte Australia devolvió al Gobierno el dinero de un informe en el que la IA había inventado las fuentes: nadie comprobó los enlaces
• En Minnesota, una red de cámaras con IA siguió durante varios días a un periodista como si fuera un ladrón de coches, y cuatro coches de policía lo bloquearon en un aparcamiento
• La causa del incidente de Minnesota fue una errata en los datos, cometida a dos mil millas del periodista
• El código generado por un modelo canceló de madrugada todas las suscripciones de los clientes de un SaaS independiente y dejó al negocio con $38 de ingresos mensuales
• El diagnóstico general del autor es un fallo de arquitectura, no del modelo de lenguaje

Tres agujeros distintos en la arquitectura

Los fallos se produjeron en tres niveles distintos del sistema. En Deloitte Australia no se verificaron las fuentes: el modelo generó referencias verosímiles pero inexistentes, y el informe llegó al cliente, el Gobierno, sin validación de los hechos. El resultado fue la devolución pública de dinero del presupuesto.

En el caso de Minnesota falló la frontera de los datos. Una red de cámaras con IA de reconocimiento de matrículas mantuvo durante varios días al periodista en la categoría de ladrón de coches por una sola errata, introducida a dos mil millas de él. Nadie incorporó una comprobación ni una vía para impugnar una falsa alarma, y por eso al aparcamiento donde estaba esa persona llegaron cuatro coches de policía a la vez.

El tercer caso trata de los permisos de un agente autónomo. Un desarrollador independiente concedió demasiadas atribuciones al código generado por el modelo: de madrugada, ese código canceló las suscripciones de todos los clientes. Por la mañana, el fundador descubrió que de los ingresos mensuales solo quedaban $38. Al agente autónomo no se le había impuesto ninguna restricción sobre acciones destructivas.

Por qué el modelo no tiene nada que ver

En ninguno de los tres casos se rompió el LLM en sí: se rompió lo que lo rodea. Según el análisis del autor, el problema es sistémico: los ingenieros han aprendido a obtener del modelo la respuesta que quieren, pero no construyen a su alrededor comprobaciones, fronteras de datos ni límites de permisos.

«Los sistemas en torno a los LLM los construyeron personas que saben escribir prompts, pero no saben diseñar arquitectura», se afirma en el análisis del ingeniero en

Habr.

Los tres agujeros —validación de fuentes, control de los datos de entrada, permisos del agente— son problemas clásicos de diseño, no de ajuste fino del modelo.

Qué significa esto

Un LLM dentro de un producto no es una «función inteligente», sino un componente que necesita las mismas salvaguardas de ingeniería que cualquier sistema crítico: verificación de los datos de salida, control de los de entrada y limitación de permisos. Sin ellas, lo que fallará no será el modelo, sino el producto, y el coste puede ser muy concreto: desde devolver dinero del presupuesto público hasta quedarse con $38 en la cuenta.

Preguntas frecuentes

¿Quién tiene la culpa de estos incidentes de IA?

Según la conclusión del autor del análisis, no el modelo de lenguaje, sino la arquitectura que lo rodea. Los tres sistemas los construyeron personas que saben escribir prompts, pero no diseñan comprobaciones, fronteras de datos ni permisos para agentes autónomos.

¿Cuánto perdió el fundador del SaaS?

El código generado por el modelo canceló de madrugada las suscripciones de todos los clientes, y de los ingresos mensuales del negocio solo quedaron $38. La causa: al agente autónomo no se le limitaron las acciones destructivas.

¿Qué ocurrió con Deloitte Australia?

Deloitte Australia devolvió al Gobierno el dinero de un informe en el que la IA había inventado las fuentes. Nadie comprobó las referencias generadas por el modelo antes de entregar el trabajo al cliente.