JEV substitui a geração em várias etapas por uma única decisão tipada

Um grande modelo de linguagem dentro de um agente de IA muitas vezes trabalha como um professor chamado para separar solicitações em três pastas. Ele recebe o histórico da tarefa, relê o contexto e gera uma resposta sequencialmente, embora o sistema precise de apenas uma escolha: executar uma busca, verificar uma API ou encaminhar a solicitação para uma pessoa.

O JEV, da TypeSafe AI, propõe separar essas decisões curtas da geração de texto. O modelo recebe o estado do sistema e um conjunto de perguntas previamente definidas, e retorna respostas tipadas: uma opção selecionada, uma pontuação em uma escala ou a probabilidade de um “sim”. Para o desenvolvedor, o ponto importante não é uma nova mágica, mas um padrão arquitetônico: a LLM cara cuida da análise e do texto, enquanto um componente compacto fica responsável pelo roteamento.

Como isso funciona no ciclo de um agente

Imagine o suporte de uma loja on-line. Um cliente escreve: “A Stripe não conecta há três dias, e estou perdendo vendas.” O agente precisa determinar a urgência e o próximo passo.

Uma LLM convencional pode receber um prompt de sistema, a descrição das ferramentas e um esquema JSON, e então gerar um objeto como urgent acompanhado de uma explicação. O JEV funciona de outra forma: o desenvolvedor fornece o contexto e perguntas com os tipos de resposta esperados. A primitiva Choice seleciona uma opção de uma lista, Score atribui uma pontuação e Noul retorna a probabilidade de uma afirmação ser verdadeira. Várias perguntas independentes sobre o mesmo contexto podem ser processadas em uma única solicitação.

O resultado obtido entra imediatamente na lógica normal do programa. Se a probabilidade de um incidente crítico ultrapassar o limite definido, o chamado é encaminhado a um operador. Se ela for menor, o agente procura uma resposta na base de conhecimento. Na zona limítrofe, o sistema pode chamar uma LLM grande ou solicitar informações adicionais.

Esse componente não substitui o agente inteiro. Ele assume uma bifurcação específica dentro do ciclo “observação—decisão—ação”, depois da qual a API, o RAG, as ferramentas ou o modelo generativo continuam o trabalho.

Onde surge o benefício prático

Os principais candidatos são operações com um conjunto limitado de resultados válidos: classificação de tickets, seleção de ferramentas, avaliação de urgência e verificação da necessidade de escalonamento. Nesses casos, a geração livre é realmente desnecessária.

O benefício é composto por três partes. Primeiro, a resposta tem um tipo predefinido, portanto não é necessário extrair JSON do texto. Segundo, várias avaliações podem ser solicitadas em conjunto. Terceiro, o modelo grande só é chamado quando são necessários raciocínio, síntese ou um texto bem escrito.

O JEV não deve ser confundido com RAG nem com um reranker. RAG é um padrão para obter contexto externo. Um reranker ordena os documentos encontrados de acordo com a relevância para a consulta. O JEV seleciona uma ação ou avalia um estado. Os três componentes podem funcionar no mesmo sistema: o JEV decide consultar a base de conhecimento, o RAG encontra os trechos e o reranker seleciona os melhores.

O que verificar antes da implementação

Uma resposta tipada ainda não significa uma resposta correta. Um número como 92% parece convincente, mas, sem calibração com os seus dados, pode representar mal a frequência real de erros. É especialmente perigoso associar automaticamente essa pontuação a pagamentos, bloqueios de contas ou outras ações irreversíveis.

Comece no modo sombra: registre as decisões do JEV, mas não as execute automaticamente. Compare o modelo com regras simples, uma LLM compacta e o roteador atual em termos de precisão, latência, custo e taxa de escalonamento. Meça separadamente os erros em cenários raros e caros.

Se um if/else resolve a tarefa de forma confiável, não é necessária uma rede neural. Se houver poucas opções, mas as regras continuarem se expandindo e dependerem do significado do texto, um modelo especializado passa a ser interessante. A conclusão prática é simples: o JEV deve ser visto não como um “assassino de LLMs”, mas como um roteador especializado que libera o modelo grande das decisões rotineiras.