Tokens de IA disparam as contas de nuvem corporativas, aponta ZDNet

O gasto corporativo com tokens de IA está virando uma nova linha de orçamento que ninguém sabe controlar. Os analistas da ZDNet apontam uma tendência preocupante: a curva de custos repete o começo da história da nuvem, com crescimento acelerado, sem ferramentas claras de otimização e sem resposta sobre o que exatamente o negócio recebe em troca.

Déjà vu de 2012

No início da era da nuvem, diretores de TI recebiam faturas de EC2, S3 e RDS que cresciam mais rápido que qualquer projeção. Ninguém sabia calcular o custo por unidade de valor de negócio. Foram necessários anos, dezenas de ferramentas de FinOps e departamentos inteiros de cloud cost management para colocar esses gastos sob controle.

Com os tokens de IA, a história se repete, só que em ritmo comprimido. Desenvolvedores conectam GPT-4o, Claude Opus e modelos próprios com fine-tuning aos sistemas de produto. Cada workflow agêntico com chamadas de ferramentas, busca RAG e contexto longo pode gastar de 20 mil a 100 mil tokens por transação. Multiplique isso por milhares de usuários por dia e o resultado é uma conta que não estava em nenhum orçamento e continua crescendo a cada trimestre.

"Os tokens de IA vão lembrar muitos clientes corporativos dos preços

iniciais da nuvem", afirma a ZDNet.

O problema sem solução: como medir o valor

O principal problema apontado pela ZDNet não é o gasto em si, mas o fato de as empresas não saberem medir o valor que os tokens de IA geram. No mundo da nuvem, tudo era relativamente transparente: a instância executa uma tarefa, a tarefa tem um custo em horas de trabalho e a diferença é a economia. Com a IA, esse esquema quebra a cada passo:

• Um assistente de IA acelera a escrita de um e-mail, mas ninguém mediu de forma sistemática quanto
• Um agente automatiza um processo, mas a qualidade do trabalho é subjetiva e irregular
• Um chatbot desafoga o suporte, mas as métricas de satisfação em casos complexos caem
• Um assistente de código reduz o tempo de desenvolvimento, mas a dívida técnica não desaparece
• Um sistema RAG melhora a precisão das respostas, mas os benchmarks dependem do dataset e da tarefa específica

Ao contrário de horas de CPU ou gigabytes de tráfego, tokens não têm correspondência óbvia com o resultado de negócio. O CFO não pode dizer: "Com este milhão de tokens, obtivemos este valor concreto e mensurável". Enquanto o problema não for resolvido, os orçamentos de IA serão aprovados na base da fé, e não com dados.

Como o mercado reage

Alguns grandes clientes corporativos de AWS, Azure e Google Cloud já registram crescimento de 3 a 10 vezes nos gastos com IA de um ano para o outro. Os provedores respondem com ferramentas de monitoramento do consumo de tokens, mas por ora elas basicamente exibem números e não ajudam a otimizar os gastos. Surge uma nova especialização, o AI FinOps, cuja tarefa é gerenciar o custo da inferência de LLMs em produção.

Entre as primeiras ferramentas táticas:

• Cache de prompts para requisições repetidas
• Roteamento de tarefas para modelos mais baratos conforme a complexidade
• Limite à profundidade do contexto e ao número de etapas das cadeias agênticas
• Processamento em lote das requisições em vez de chamadas individuais em tempo real
• Auditoria regular de integrações de IA sem uso ou pouco eficazes

Mas isso é tática, não estratégia. A indústria ainda não tem resposta para a pergunta de quantos tokens vale a pena gastar para obter um resultado de negócio específico.

O que isso significa

A IA corporativa cai na mesma armadilha que a nuvem em 2012: a tecnologia é amplamente adotada, os custos sobem rápido e o ROI é difícil de medir. Empresas que já colocaram LLMs em produção devem investir agora em ferramentas de visibilidade de custos e construir métricas de valor. Caso contrário, a conversa com o diretor financeiro vai virar uma prova desconfortável para a qual ninguém se preparou.