Agente de IA híbrido reduz custo de conversa para 3,8 rublos

Um chat aberto com um LLM parece natural, mas apresenta dois hábitos problemáticos em um fluxo de produto: consome muitos tokens e pode esquecer para onde deveria conduzir o usuário. Um bot baseado em roteiro é mais barato e previsível, mas falha assim que alguém escreve, em vez de apertar um botão: “O estagiário sabe servir café!” O autor do artigo construiu um sistema híbrido: o código convencional controla a rota, enquanto os modelos ficam responsáveis por interpretar as mensagens e produzir respostas naturais.

Em um piloto com 88 usuários, todas as chamadas aos modelos custaram 169 rublos. O custo médio por conversa foi de 3,8 rublos. Segundo os cálculos do autor, a mesma conversa em um LLM avançado, sem uma estrutura determinística, custaria cerca de 16 rublos.

A máquina de estados decide, o LLM explica

O diálogo é dividido em estados: apresentação, treinamento, final, oferta, recusa e parada. Somente o código pode mover o usuário entre eles. Ele sabe quais transições são permitidas, verifica as respostas dos questionários e decide quando exibir a oferta comercial.

Quando o usuário aperta um botão, o modelo recebe um contexto já preparado e escreve a resposta. Quando chega texto livre, um classificador barato é acionado primeiro. Ele escolhe uma das ações permitidas: continuar o assunto, explicá-lo de forma mais simples, passar para outra parte do programa ou apenas manter a conversa. A máquina de estados valida a escolha, e o modelo narrador formula a resposta.

Por exemplo, um usuário pediu uma explicação mais simples sobre redes neurais e depois fez uma piada sobre um estagiário e café. No primeiro caso, a máquina de estados sabia exatamente qual era o assunto e acionou apenas o narrador. No segundo, o classificador identificou a piada como uma digressão na conversa, o código preservou o estado atual e o narrador respondeu antes de conduzir a conversa de volta à aula. Foram feitas duas chamadas aos modelos, em vez de entregar a eles todo o controle.

De onde vem a economia

O principal custo não é gerado pela duração da conversa em si, mas pela arquitetura de cada interação. Na implementação do autor, apertar um botão custava cerca de 35 copeques e enviar uma mensagem de texto, 36 copeques. Uma conversa média somava 3,8 rublos. Um modelo pequeno atuava como classificador, enquanto outro mais avançado funcionava como narrador.

Uma troca acidental dos modelos durante o piloto mostrou claramente o custo de um roteamento incorreto. O modelo mais caro, colocado na classificação, processou 31% das chamadas, mas respondeu por 44% dos gastos. Na configuração padrão, o classificador representava aproximadamente 1% do custo. A conclusão prática é simples: vale usar o modelo barato quando há uma lista curta de opções e reservar o caro para situações em que a qualidade do texto realmente importa.

A confiabilidade não depende apenas dos prompts. As transições e os questionários são verificados offline, sem um modelo; mensagens difíceis dos usuários são adicionadas a um conjunto de testes de avaliação; e a máquina de estados valida novamente a ação escolhida pelo classificador. Para emergências, há um limite de gastos de 40 rublos por sessão; quando ele é atingido, respostas padronizadas são ativadas.

O que o piloto mostrou

Dos 88 visitantes, 86 iniciaram uma conversa, 69 preencheram o questionário e entraram no programa de aprendizagem, mas apenas sete chegaram ao fim da rota personalizada. Durante uma sessão em grupo, o agente atendeu simultaneamente 71 pessoas sem falhas. A oferta comercial foi exibida a 33 participantes, e dez apertaram o botão “Tenho interesse”.

Essa é uma limitação importante do resultado: o piloto foi pequeno, os números foram divulgados pelo próprio autor, não houve grupo de controle e o artigo não apresenta compras reais. Portanto, ainda é cedo para falar em um aumento comprovado da receita. A hipótese de engenharia, porém, foi confirmada com bastante clareza: uma máquina de estados finitos consegue manter a jornada no rumo certo, enquanto o LLM torna a interação menos engessada.

Para desenvolvedores, o projeto oferece um modelo concreto. Mantenha o estado e as regras de negócio no código, restrinja o classificador às transições permitidas, distribua os modelos conforme a complexidade da tarefa e calcule o custo de uma jornada de usuário concluída, não o preço de um único token. Depois disso, o principal gargalo deixa de ser o preço do modelo e passa a ser o engajamento: como levar uma pessoa da primeira piada até um resultado útil e uma compra.