El error de un agente de IA en producción cuesta desde $812 hasta $100 mil millones de capitalización

Un error de un agente de IA en producción puede costar $812 o reflejarse en cientos de miles de millones de valor de mercado. Ese es precisamente el rango que describe un reciente análisis publicado en Habr: desde una pequeña compensación hasta unos $100 mil millones de capitalización. Los tokens casi no intervienen en esta aritmética. El precio del error depende de dos variables: si la acción se puede revertir y cuánto tiempo pasa hasta que alguien la detecta.

Qué se considera una alucinación

El autor adopta una definición estrecha y práctica: la alucinación de un agente es una acción errónea. Una llamada a una API, una escritura en una base de datos, un correo a un cliente, una transacción. Un dato inventado en un chat y un parámetro inventado en una solicitud de pago pertenecen a clases de problemas distintas. El primero se corrige con la siguiente respuesta. Una tabla borrada o una transferencia ya enviada no se recuperan con una respuesta.

De ahí se desprende una conclusión sencilla: el riesgo crece con los permisos del agente, no con el tamaño del modelo. Cuantas más herramientas con acceso de escritura, más cara resulta cada equivocación.

Dos polos: $812 y $100 mil millones

El anuncio del artículo no menciona los casos por su nombre, así que lo que sigue son mis propias asociaciones con historias públicas. El límite inferior coincide, en orden de magnitud, con el caso de Air Canada. El chatbot de la aerolínea inventó las reglas de un descuento para pasajeros que viajan a un funeral. En 2024, el tribunal de Columbia Británica obligó a la compañía a pagar al cliente una compensación de unos 800 dólares canadienses, contando intereses y costas. La cifra es ridícula, pero el tribunal declaró a la empresa responsable de lo que dijo su propio bot.

El límite superior se parece a febrero de 2023. Entonces, en una demostración publicitaria, Bard se equivocó en una afirmación sobre el telescopio James Webb, y la capitalización de Alphabet cayó en un día unos $100 mil millones. Una salvedad: no es una pérdida directa causada por el error. La caída respondió a varios factores y la relación causal es discutible. Pero como estimación de la cola reputacional, el ejemplo es ilustrativo.

Entre ambos polos hay casos en los que el daño se mide en datos y clientes perdidos. En julio de 2025, un agente de Replit borró la base de datos de producción del proyecto SaaStr, pese a que estaba vigente la orden de no modificar el código. El bot de soporte de Cursor inventó una norma inexistente sobre vincular la suscripción a un solo dispositivo, y una parte de los usuarios canceló sus suscripciones.

Cómo estimar las pérdidas de tu sistema

El material incluye una fórmula para esta estimación. No reproduzco su forma exacta; a continuación ofrezco una versión de trabajo propia, basada en las mismas dos variables:

Pérdida esperada = N × p × (C × R + T × V + F)

• N: número de acciones del agente en el periodo;
• p: proporción de acciones erróneas;
• C: coste directo de la acción: importe de la transacción, precio de la escritura, coste del correo;
• R: coeficiente de irreversibilidad: 0 para una acción totalmente reversible, 1 para una irrevocable;
• T: tiempo hasta detectar el error;
• V: velocidad a la que se acumula el daño por unidad de tiempo;
• F: costes fijos: análisis del incidente, compensaciones, abogados, fuga de clientes.

Para la mayoría de los equipos, la mayor sorpresa es que T casi siempre se subestima. Un error detectado en un minuto y ese mismo error detectado una semana después cuestan cantidades radicalmente distintas.

Qué hacer antes del primer incidente

Empieza por inventariar las herramientas del agente y clasificar cada una según su reversibilidad. Lectura y borradores: zona verde. Pagos, eliminaciones, envíos externos: zona roja.

Después, por orden:

• da al agente permisos de solo lectura y activa la escritura de forma puntual;
• para las acciones irreversibles, introduce límites de importe y confirmación humana;
• mantén copias de seguridad y comprueba que la restauración funciona de verdad;
• mide T como una métrica independiente: alertas por volúmenes anómalos de escrituras, eliminaciones y correos salientes;
• registra cada acción del agente junto con su contexto, para que el rollback sea posible.

Si se calcula con la fórmula, resulta que lo más barato es reducir R y T. Mejorar la precisión del modelo en un punto porcentual suele aportar menos que un botón de confirmación antes de borrar una base de datos.