Westpac aperta o controle de gastos com IA e transfere tarefas rotineiras para modelos mais baratos

O banco australiano Westpac Banking Corp reforçou o controle sobre seus gastos com inteligência artificial. Segundo a Bloomberg, a empresa monitora o consumo de tokens de IA pelos funcionários em toda a organização e direciona tarefas simples para modelos mais baratos.

O que exatamente o Westpac está fazendo

O banco está implementando um monitoramento mais rigoroso de como os funcionários usam modelos de IA generativa no dia a dia. A medida envolve acompanhar o consumo de tokens, as unidades que medem o volume de texto processado por um modelo de linguagem e, consequentemente, o custo de cada requisição. Tarefas que não exigem os recursos avançados dos modelos de ponta são redirecionadas para modelos mais leves e baratos, enquanto os mais caros ficam reservados para cenários complexos.

• O Westpac Banking Corp é um dos maiores bancos da Austrália
• O banco monitora o consumo de tokens de IA pelos funcionários em toda a empresa
• Tarefas simples são transferidas para modelos mais baratos em vez dos modelos de ponta

Por que as empresas começaram a contar tokens

O custo de uso de grandes modelos de linguagem cresce junto com a escala da adoção: quanto mais funcionários têm acesso a ferramentas de IA e quanto mais as usam, maior fica a conta enviada pelo provedor do modelo. Para bancos e outras grandes corporações, onde os usuários de serviços de IA se contam aos milhares, esses gastos se tornam uma linha relevante do orçamento. Daí o interesse crescente no chamado FinOps para IA, a prática de distribuir a carga entre diferentes modelos segundo o princípio "tarefa complexa, modelo caro; tarefa rotineira, modelo barato", em vez de passar todas as requisições pelo sistema mais poderoso e caro.

A abordagem do Westpac é típica de grandes instituições financeiras, que querem aproveitar as vantagens da IA generativa e, ao mesmo tempo, evitar uma escalada descontrolada dos gastos com serviços de IA na nuvem, sobretudo em um setor regulado, no qual cada linha de custo passa por controle adicional.

O que isso significa

À medida que a IA generativa passa a fazer parte do trabalho cotidiano das grandes empresas, a gestão de custos com modelos se transforma em uma disciplina própria: as empresas aprendem a calcular quanto custa cada requisição, e não só a implementar IA, e a otimizar esse gasto como qualquer outro custo operacional.