Виновата не модель, а архитектура: разбор 3 громких ИИ-инцидентов (Deloitte, ИИ-камеры, агент)

Un ingeniero que diseña sistemas de producción sobre grandes modelos de lenguaje (LLM) analizó tres sonados incidentes de IA y llegó a una conclusión: en los tres casos, la culpa no es del modelo en sí, sino de la arquitectura ausente a su alrededor. El análisis se publicó en Habr.

Qué tienen en común los tres incidentes

Lo que une a los tres incidentes no es el tipo de error, sino su origen: el código alrededor del LLM lo escribieron personas que saben elaborar prompts, pero no saben diseñar arquitectura. Los agujeros, eso sí, aparecieron en tres partes completamente distintas del sistema.

• Deloitte Australia devolvió dinero al gobierno por un informe en el que la IA inventó fuentes — nadie verificó los enlaces
• En Minnesota, una red de cámaras con IA identificó durante varios días a un periodista como ladrón de autos, y cuatro patrullas de policía lo bloquearon en un estacionamiento
• La causa del incidente en Minnesota fue un error tipográfico en los datos, cometido a dos mil millas del periodista
• Un código generado por el modelo canceló durante la noche todas las suscripciones de los clientes de un SaaS independiente y dejó al negocio con $38 de ingresos mensuales
• El diagnóstico general del autor: un fallo de arquitectura, no del modelo de lenguaje

Tres agujeros distintos en la arquitectura

Los agujeros se abrieron en tres niveles distintos del sistema. En Deloitte Australia no se verificaron las fuentes: el modelo generó enlaces verosímiles pero inexistentes, y el informe llegó al cliente — el gobierno — sin validación de hechos. El resultado fue una devolución pública de dinero presupuestario.

En el caso de Minnesota falló el límite de los datos. Una red de cámaras de IA para el reconocimiento de matrículas mantuvo durante varios días a un periodista con el estatus de ladrón de autos por un solo error tipográfico, introducido a dos mil millas de distancia. Nadie había incorporado una verificación ni una forma de impugnar un falso positivo — por eso llegaron de golpe cuatro patrullas de policía al hombre en el estacionamiento.

El tercer caso trata sobre los permisos de un agente autónomo. Un desarrollador independiente le dio al código generado por el modelo demasiadas facultades: durante la noche, este canceló las suscripciones de todos los clientes. Por la mañana, el fundador descubrió que de los ingresos mensuales solo quedaban $38. Al agente autónomo no se le impusieron límites a las acciones destructivas.

Por qué el modelo no tiene la culpa aquí

En ninguno de los tres casos falló el propio LLM — falló lo que lo rodea. Según el análisis del autor, el problema es sistémico: los ingenieros aprendieron a obtener del modelo la respuesta que necesitan, pero no construyen a su alrededor verificaciones, límites de datos ni restricciones de permisos.

«Los sistemas alrededor del LLM los construyeron personas que saben escribir prompts, pero no saben diseñar arquitectura», señala el análisis del ingeniero en

Habr.

Los tres agujeros —validación de fuentes, control de los datos de entrada, permisos del agente— son tareas clásicas de diseño de ingeniería, no de ajuste fino del modelo.

Qué significa esto

Un LLM en un producto no es una "función inteligente", sino un componente que necesita las mismas salvaguardas de ingeniería que cualquier sistema crítico: validación de salidas, control de entradas, limitación de facultades. Sin ellas, el que falla no es el modelo — falla el producto, y el precio suele ser bastante concreto: desde la devolución de dinero presupuestario hasta $38 en una cuenta.

Preguntas frecuentes

¿Quién tiene la culpa de estos incidentes de IA?

Según la conclusión del autor del análisis, no es el modelo de lenguaje, sino la arquitectura a su alrededor. Los tres sistemas fueron construidos por personas que saben escribir prompts, pero no diseñan verificaciones, límites de datos ni permisos para agentes autónomos.

¿Cuánto perdió el fundador del SaaS?

El código generado por el modelo canceló durante la noche las suscripciones de todos los clientes, y de los ingresos mensuales del negocio solo quedaron $38. La causa fue que no se limitaron las acciones destructivas del agente autónomo.

¿Qué pasó con Deloitte Australia?

Deloitte Australia devolvió dinero al gobierno por un informe en el que la IA inventó fuentes. Nadie verificó los enlaces generados por el modelo antes de entregar el trabajo al cliente.