Westpac endurece el control del gasto en IA y deriva las tareas rutinarias a modelos más baratos

El banco australiano Westpac Banking Corp ha reforzado el control de su gasto en inteligencia artificial. Según informa Bloomberg, la compañía monitoriza el consumo de tokens de IA de sus empleados en toda la organización y deriva las tareas sencillas a modelos más baratos.

Qué está haciendo exactamente Westpac

El banco está implantando una supervisión más estricta del uso que hacen sus empleados de los modelos de IA generativa en su trabajo diario. En concreto, controla el consumo de tokens: las unidades con las que se mide el volumen de texto que procesa un modelo de lenguaje y, por tanto, el coste de cada petición. Las tareas que no requieren las capacidades avanzadas de los modelos insignia se redirigen a modelos más ligeros y baratos, mientras que los más caros se reservan para los casos complejos.

• Westpac Banking Corp es uno de los mayores bancos de Australia
• El banco monitoriza el consumo de tokens de IA de sus empleados en toda la compañía
• Las tareas sencillas se derivan a modelos más baratos en lugar de a los modelos insignia

Por qué las empresas han empezado a contar tokens

El coste de usar grandes modelos de lenguaje crece a medida que se amplía su despliegue: cuantos más empleados tienen acceso a herramientas de IA y cuanto más las usan, mayor es la factura del proveedor del modelo. En bancos y otras grandes corporaciones, donde los usuarios de servicios de IA se cuentan por miles, este gasto se convierte en una partida presupuestaria relevante. De ahí el creciente interés por el llamado FinOps para IA: la práctica de repartir la carga entre distintos modelos según el principio «tarea compleja, modelo caro; tarea rutinaria, modelo barato», en lugar de pasar todas las peticiones por el sistema más potente y costoso.

El enfoque de Westpac es habitual entre las grandes entidades financieras, que quieren aprovechar las ventajas de la IA generativa y, al mismo tiempo, evitar que el gasto en servicios de IA en la nube crezca sin control. Esto pesa especialmente en un sector regulado, donde cada partida de gasto pasa por controles adicionales.

Qué significa esto

A medida que la IA generativa se integra en el trabajo diario de las grandes empresas, la gestión del gasto en modelos se está convirtiendo en una disciplina propia: las compañías aprenden no solo a implantar la IA, sino también a calcular cuánto cuesta cada petición y a optimizarlo como cualquier otro coste operativo.