Bots de voz com LLM usam o classificador rápido Jev: decisão em 200–500 ms

Um bot de voz baseado em um grande modelo de linguagem (LLM) fala bem, mas tropeça em detalhes nas ligações reais. Ele encontra um horário livre e, mesmo assim, não agenda o cliente. Ele interrompe uma pessoa que só está procurando a palavra certa.

A equipe da Voximplant, plataforma russa de automação por voz e bots telefônicos, descreveu uma solução de engenharia para esse problema. As decisões simples saem da LLM e vão para um modelo classificador rápido, como o Jev, da TypeSafe. O Jev entrou em acesso antecipado em setembro de 2026.

Como entrada, ele recebe um trecho da transcrição, a última fala do bot e a etapa do roteiro, além de algumas perguntas. Ele não gera texto. A resposta é uma estrutura tipada: uma escolha entre opções, uma nota em uma escala curta ou a probabilidade de «sim» para uma pergunta direta.

As medições de latência divergem. Em um teste, 35 perguntas levaram cerca de 170 ms em uma conexão já aquecida; em outro, o resultado ficou entre 332 e 892 ms. A TypeSafe declara 70–500 ms.

Por que um único modelo não dá conta da conversa inteira

Em 2022–2024, a Voximplant desenvolveu seu próprio classificador, o Avatar. Ele extraía da frase a intenção (intent) a partir de um catálogo configurável e indicava se havia dados estruturados nela: datas, nomes, números. Depois vieram as LLMs, e parecia que o classificador não era mais necessário.

A prática desmentiu isso rapidamente. Modelos de porte médio não aguentavam um prompt inicial longo e, depois de algumas trocas de assunto, começavam a alucinar. Modelos caros inviabilizavam a economia do projeto ou respondiam devagar demais para o telefone.

Parte dos modelos não estava disponível em algumas regiões. Segundo a experiência da Voximplant, que entrega várias centenas de projetos comerciais por ano, um único modelo deixa passar o momento de chamar uma ferramenta, estoura a janela de contexto e queima tokens à toa. Por isso, o bot é montado a partir de várias peças.

Quando o Jev foi lançado, a Voximplant estava justamente trocando o Avatar por um esquema com um modelo pequeno e rápido.

O Jev não é o único dessa classe. Outros modelos surgiram ao redor dele:

• Laya: alternativa gratuita de código aberto, sob licença Apache 2.0.
• Clef, da Cloudflare: modelo aberto para decisões muito rápidas dentro de sistemas de software.
• CMF, da Cortiq: modelo aberto de 304,5 MB, que roda em milissegundos sem gerar tokens.
• Bespoke Nimble, da Bespoke Labs: receita aberta baseada no Qwen3.5-9B, com ajuste fino via LoRA e decodificação restrita.
• Kev, de @jaredpalmer: começou como Kev-0.5B, baseado no Qwen2.5-0.5B, para rodar localmente em notebooks, e hoje é uma família de modelos.
• CLM-8B, de Stanford e Nvidia: armazena em cache ações repetitivas de agentes e, segundo medições dos próprios autores, é mais rápido que o Jev.

Cinco tarefas que vão para o classificador

Roteamento por assunto. Piotr Zaczek colocou o classificador na entrada do menu de voz. Ele escolhe um agente pequeno, com prompt curto e um único conjunto de ferramentas para um único assunto. A decisão de trocar de assunto levou 0,5 s, em vez de quase 5 s quando era tomada por um modelo grande, e o consumo de tokens do modelo caro caiu.

Verificação de ações. No assistente telefônico Pocos, para salões e estúdios, Giorgi Lomidze manteve o Gemini Live como modelo de fala. Toda chamada de ferramenta feita por ele é checada antes pelo Jev, com perguntas como «o interlocutor confirmou a ação?» e «o interlocutor se despediu?». Os limiares são estes: a concordância é considerada forte a partir de 0,9 e fraca abaixo de 0,1; a despedida é considerada forte a partir de 0,75 (e somente se a pessoa não tiver iniciado um novo assunto). O princípio: a LLM propõe, o Jev avalia, a lógica de negócio decide.

Fim da fala pelo sentido. A pausa é detectada por detectores acústicos: na Voximplant, são o Silero VAD, o Pipecat Smart Turn e o supressor de ruído Hush. O Jev acrescenta uma checagem pelo texto.

Se o detector indica «fim», mas o Jev vê um pensamento interrompido, o bot fica em silêncio. A latência é de cerca de 250 ms: aproximadamente 50 ms para o reconhecimento de fala e 200 ms para a classificação. Supreet Tare, da Taritas, faz uma pergunta após 350 ms de silêncio e recebe a resposta em 0,4 s.

Depois disso, o código espera 1,7 s quando há um «terminou» confiante (a partir de 0,75), 2,8 s em caso de dúvida e 4,5 s se a frase foi cortada em «and», «but» ou em uma vírgula.

Interrupções. Jay Albo, na plataforma Agora, obtém em uma única chamada (cerca de 300 ms) quatro probabilidades: se a pessoa terminou o raciocínio, se está pedindo para esperar, se a fala é dirigida ao bot e se ela está interrompendo o bot ou apenas dizendo «aham».

Preenchimento de formulário. Jason Stiles montou a linha de uma clínica fictícia no Twilio ConversationRelay, com Deepgram e ElevenLabs. A cada turno, vai uma única requisição com 30–35 perguntas. O próprio código extrai candidatos da transcrição (números para o ano de nascimento, frases curtas para o nome), e o Jev escolhe o mais adequado. Ele não consegue inventar uma data: o erro sempre vem das palavras do interlocutor. O autor da análise discorda dessa abordagem: existem formas mais eficientes de extrair dados.

Resposta cara ou barata

Deepesh Jayal, da Evalgent, divide as respostas em três classes: uma resposta pronta, sem modelo; um modelo rápido para um fato curto; e um modelo pesado para casos ambíguos e de erro caro. A cada turno, o Jev decide se é preciso uma resposta cara. As regras são estas:

• Baixa confiança sobe o turno para a classe acima.
• Perguntas com alto custo de erro não vão para a classe barata, mesmo que o classificador esteja confiante.
• No meio da ligação, a classe não é rebaixada: a economia é pequena, e o contexto do modelo caro pode ser prejudicado.

Ordem de montagem da cascata

A Voximplant sugere esta sequência: primeiro o fim da fala e as interrupções, depois o roteamento por assunto, em seguida o preenchimento de formulários, a verificação de ações que alteram dados e a escolha da classe do modelo. Os limiares de confiança terão de ser ajustados para cada projeto. Para os engenheiros, a conclusão é prática. Tudo que pode ser reduzido a uma pergunta de «sim/não» ou a uma escolha em uma lista fica mais barato e mais confiável nas mãos de um modelo rápido. A LLM grande continua onde é preciso uma resposta viva.