Cohere explica por qué es difícil calcular el ROI de la IA y cómo hacerlo

Cohere ha publicado en su blog corporativo un análisis sobre cómo deben calcular las empresas el retorno de la inversión en IA. La base del cálculo cabe en una sola línea: ROI = (beneficio financiero − coste total) ÷ coste total × 100. Toda la dificultad está en qué entra exactamente en el numerador y en el denominador. El texto lo firma Ariana Milligan, responsable de marketing de producto, así que refleja el punto de vista de un proveedor. Pero la mayoría de los argumentos no depende de un proveedor de modelos concreto.

Qué cuenta como beneficio y qué como coste

Cohere define el ROI de la IA como el rendimiento financiero de una inversión en relación con el coste total de implantarla y operarla. Ese rendimiento llega por dos vías: el ahorro o los ingresos adicionales por ventas. La salvedad clave es que las mejoras operativas, por sí solas, no equivalen a dinero. Una tarea que se completa más rápido, un mayor volumen de producción o un trabajo de más calidad pueden tener un efecto financiero, pero el ROI solo es positivo si ese efecto supera lo que cuesta conseguirlo.

Lo complica el hecho de que los costes están repartidos entre la infraestructura técnica y los recursos operativos, mientras que el beneficio es difícil de aislar: la IA suele estar integrada en procesos de negocio más amplios. No siempre es posible separar su aportación al resultado final.

Cuatro fuentes de desviación entre la previsión y la realidad

La autora enumera las particularidades de las inversiones en IA que más a menudo desbaratan el cálculo. En la parte publicada del texto son cuatro:

• La economía unitaria depende de la carga y de la escala. Un contexto más largo, más razonamiento y más llamadas al modelo y a las herramientas encarecen la tarea. En los sistemas con agentes la dispersión es aún mayor: tareas parecidas se resuelven con un número distinto de pasos y reintentos. El coste por tarea en el piloto puede no coincidir con el de producción, donde la carga es mayor y más variada. El aumento del uso eleva los gastos variables, pero puede mejorar el aprovechamiento de una capacidad que ya está pagada.
• La elección del modelo y del esquema de despliegue cambia el equilibrio entre precio y calidad. Los modelos caros hacen falta para tareas complejas; para las sencillas suelen bastar los baratos. Cohere destaca el enfoque de cost-aware routing: la aplicación usa varios modelos y envía cada tarea al más barato de los que cumplen los requisitos de calidad.
• El despliegue influye en la estructura de costes. Los servicios gestionados con pago por uso resultan más rentables cuando la demanda es reducida o impredecible. La capacidad dedicada, ya sea alojada por el proveedor o propia, ofrece mejor economía unitaria con una carga alta y estable, pero queda ociosa cuando la demanda es baja o irregular. Además del precio, pesan la latencia, la residencia de los datos, la seguridad y el control operativo.
• Los requisitos de calidad y fiabilidad elevan los costes operativos. Monitorizar la estabilidad de las salidas, aplicar comprobaciones automáticas y derivar a una persona los casos dudosos o de riesgo añaden gasto en cómputo, herramientas y trabajo humano. En los agentes hay que evaluar, además, la cadena de llamadas a herramientas, y no solo la respuesta final.

A esto se suma otra trampa: una mejora a nivel de tarea individual puede sobrestimar el efecto financiero para el conjunto de la organización. Si otra fase del proceso sigue siendo el cuello de botella, la aceleración se limita a trasladar el atasco a otro punto, y el rendimiento de extremo a extremo no aumenta. La continuación de esta sección se interrumpe en el texto disponible.

Cómo aplicarlo en la práctica

Lo que sigue es una conclusión editorial nuestra, extraída de la lógica del material, y no citas de Cohere.

Primero: calcule el coste de una tarea de negocio completada, no el precio del token. En el caso de los agentes, use la distribución y no la media: la mediana y la cola de la distribución en número de pasos y reintentos muestran el presupuesto real.

Segundo: recalcule el piloto con la carga de producción antes de aprobar el presupuesto. Incluya en el denominador la evaluación, la monitorización y la revisión manual; de lo contrario, el ROI saldrá sobrestimado.

Tercero: antes de contabilizar el ahorro de tiempo como beneficio, compruebe dónde está el siguiente cuello de botella del proceso. Si el rendimiento de todo el proceso no ha aumentado, todavía no ha ahorrado dinero.

Cuarto: compare los esquemas de despliegue según el perfil de la demanda. Para una carga inestable encaja el pago por uso; para una carga densa y constante conviene calcular la capacidad dedicada. Las restricciones de latencia, de datos y de seguridad pueden descartar algunas opciones incluso antes de comparar precios.