Cohere explica por que é difícil calcular o ROI de IA e como fazer essa conta

A Cohere publicou em seu blog corporativo uma análise de como as empresas devem calcular o retorno sobre o investimento em IA. A base do cálculo cabe em uma linha: ROI = (benefício financeiro − custo total) ÷ custo total × 100. A dificuldade está em decidir o que entra no numerador e no denominador. O texto foi escrito por Ariana Milligan, product marketer da empresa, ou seja, reflete o ponto de vista de um fornecedor. Mesmo assim, a maioria dos argumentos não depende de um provedor de modelos específico.

O que contar como benefício e o que contar como custo

A Cohere define o ROI de IA como o retorno financeiro de um investimento em relação ao custo total de implantá-lo e operá-lo. O retorno vem de duas formas: por economia ou por receita adicional de vendas. A ressalva principal é que melhorias operacionais, por si só, não equivalem a dinheiro. Uma tarefa concluída mais rápido, um volume de produção maior ou um trabalho de melhor qualidade podem gerar efeito financeiro, mas o ROI só é positivo se esse efeito superar o custo de obtê-lo.

O cenário se complica porque os custos ficam espalhados pela infraestrutura técnica e pelos recursos operacionais, enquanto o benefício é difícil de isolar: a IA costuma estar embutida em processos de negócio mais amplos. Nem sempre é possível separar a contribuição dela no resultado final.

Quatro fontes de divergência entre a projeção e o resultado real

A autora lista as características dos investimentos em IA que mais frequentemente quebram o cálculo. Na parte publicada do texto, são quatro:

• A economia unitária depende da carga e da escala. Contexto longo, mais raciocínio e mais chamadas ao modelo e a ferramentas tornam a tarefa mais cara. Nos sistemas agênticos, a variação é ainda maior: tarefas parecidas são resolvidas com números diferentes de passos e repetições. Os custos por tarefa no piloto podem não se repetir na produção, onde a carga é maior e mais variada. O aumento do uso eleva as despesas variáveis, mas pode melhorar a utilização de capacidade já paga.
• A escolha do modelo e do esquema de implantação muda o equilíbrio entre preço e qualidade. Modelos caros são necessários para tarefas complexas, enquanto para as simples costumam bastar modelos baratos. A Cohere destaca a abordagem de cost-aware routing: o aplicativo usa vários modelos e envia cada tarefa ao mais barato entre os que atendem aos requisitos de qualidade.
• A implantação afeta a estrutura de custos. Serviços gerenciados com pagamento por uso compensam mais quando a demanda é pequena ou imprevisível. Capacidade dedicada, hospedada no provedor ou própria, oferece melhor economia unitária sob carga alta e estável, mas fica ociosa quando a demanda é baixa ou irregular. Além do preço, pesam latência, residência de dados, segurança e controle operacional.
• Requisitos de qualidade e confiabilidade aumentam as despesas operacionais. Monitorar a estabilidade das saídas, fazer verificações automáticas e encaminhar casos duvidosos ou arriscados a uma pessoa acrescenta custos de computação, ferramentas e mão de obra. Nos agentes, é preciso avaliar também a cadeia de chamadas a ferramentas, e não só a resposta final.

Há ainda mais uma armadilha: o ganho no nível de uma tarefa isolada pode superestimar o efeito financeiro para toda a organização. Se outra etapa do processo continua sendo o gargalo, a aceleração apenas desloca o congestionamento para outro ponto, e a capacidade de ponta a ponta não aumenta. O restante desta seção está cortado no texto disponível.

Como aplicar isso na prática

O que segue é uma conclusão editorial nossa, baseada na lógica do material, e não citações da Cohere.

Primeiro: calcule o custo de uma tarefa de negócio concluída, e não o preço do token. Para agentes, use a distribuição, não a média: a mediana e a cauda do número de passos e repetições mostram o orçamento real.

Segundo: recalcule o piloto com a carga de produção antes de aprovar o orçamento. Inclua no denominador a avaliação, o monitoramento e a revisão manual; do contrário, o ROI sairá superestimado.

Terceiro: antes de contabilizar a economia de tempo como benefício, verifique onde está o próximo gargalo do processo. Se a capacidade do processo como um todo não aumentou, você ainda não economizou dinheiro.

Quarto: compare os esquemas de implantação pelo perfil da demanda. Para carga instável, o pagamento por uso tende a servir; para carga densa e constante, vale calcular a capacidade dedicada. Restrições de latência, de dados e de segurança podem eliminar parte das opções antes mesmo da comparação de preços.