Modelos de decisão responderam por 26% das requisições do Vercel AI Gateway com apenas 0,53% dos gastos

Seu serviço recebe a solicitação de um cliente e precisa escolher: encaminhá-la ao suporte, passá-la a um vendedor ou pedir um esclarecimento. Para isso, nem sempre é necessário que um grande modelo de linguagem analise a conversa inteira. Às vezes basta uma decisão curta entre algumas opções. De acordo com o relatório de novembro da Vercel, tarefas desse tipo já geram 26% das requisições do AI Gateway, ocupando apenas 0,53% dos gastos estimados.

É um bom motivo para repensar a arquitetura de um produto de IA. Se o modelo escreve respostas, classifica solicitações e escolhe as ações seguintes ao mesmo tempo, vale medir separadamente o custo de cada etapa. Talvez parte do trabalho possa ser confiada a modelos especializados mais baratos.

Decisões curtas se tornaram uma categoria própria de tráfego

A Vercel chama de decision models os modelos que classificam dados, atribuem pontuações ou escolhem entre alternativas. Em vez de uma resposta elaborada, o aplicativo recebe um resultado curto, adequado ao próximo passo do programa. Segundo a estimativa da empresa, uma requisição média a esses modelos é cerca de 70 vezes mais barata do que uma requisição a um modelo de linguagem.

Imagine uma loja on-line. O cliente escreve: «O pedido não chegou, quero meu dinheiro de volta». Na primeira etapa, o sistema precisa identificar o tipo de solicitação. Depois, pode encaminhar a mensagem ao responsável adequado, obter os dados do pedido e só então preparar uma resposta substancial. A geração de texto fica onde traz valor, e o roteamento passa a ser uma operação separada.

Em outubro, quase um terço das equipes pagantes do gateway usou esses modelos. Entre as equipes com volume mensal acima de 10 bilhões de tokens, a participação chegou a 70%. Em grandes volumes, mesmo uma pequena economia em uma única ação muda de forma visível a conta total.

Mas há um detalhe importante: quase todo o tráfego dessa categoria veio do Jev, da TypeSafe AI. Por isso, o número de 26% mostra, antes de tudo, o uso intenso de um produto específico dentro de um gateway específico. Ele ainda não prova que dezenas de fornecedores independentes encontraram demanda em massa.

A Anthropic atrai novas equipes, a OpenAI recebe mais gastos

Em alcance de equipes pagantes, OpenAI e Anthropic quase se igualaram: em outubro, seus modelos foram usados por 55% e 54% das equipes, respectivamente. Essas parcelas se sobrepõem: uma mesma equipe pode trabalhar com as duas empresas.

Entre as equipes novas, a Anthropic se tornou o fornecedor principal quase duas vezes mais vezes que a OpenAI. Aqui a definição é importante: a Vercel considera principal o fornecedor para o qual a equipe enviou mais requisições a modelos de linguagem no primeiro mês. Não se trata de contrato de exclusividade nem de escolha definitiva da stack tecnológica.

Ao mesmo tempo, a participação da OpenAI nos gastos do gateway subiu de cerca de 9% em dezembro para 15% em outubro. A da Anthropic no mesmo período caiu aproximadamente pela metade, para 32%, embora a empresa tenha mantido a liderança nesse indicador. Entre o 1% das equipes que mais gastam, mais de 90% usam os dois fornecedores.

Para o fundador, há aqui um sinal prático: a popularidade na primeira integração e o volume de trabalho pago são indicadores diferentes. Não é possível julgar um pelo outro com segurança.

Os modelos mudam mais rápido que a arquitetura do produto

Mais da metade das requisições a modelos de linguagem em outubro foi para versões que apareceram no gateway havia menos de 60 dias. Cerca de metade das equipes com volume a partir de 10 milhões de tokens trocou o modelo principal em um mês. Entre as que trocaram, 60% migraram para outro laboratório.

Essa mobilidade torna úteis um conjunto próprio de tarefas de avaliação e a possibilidade de trocar de fornecedor sem refazer a lógica de negócio. Antes de substituir um modelo, vale comparar a qualidade em solicitações reais, a latência e o custo de um resultado bem-sucedido. Uma requisição barata ajuda pouco se exigir verificação manual depois.

O relatório tem limites. Ele descreve o tráfego anonimizado do Vercel AI Gateway em outubro, e os gastos são estimados com base em tarifas públicas. O tamanho das equipes é definido pelo volume de tokens; o número absoluto de equipes não consta no texto apresentado. Também não há dados sobre a qualidade das decisões nem sobre latências comparáveis.

Por isso, um próximo passo sensato é escolher uma tarefa frequente de classificação, reunir exemplos reais e comparar um modelo especializado com a solução atual. Esse teste mostrará se a impressionante estatística do gateway se transforma em economia para o seu produto.