MiniJev lê logits e acelera em 5,4 vezes a classificação de solicitações

Se um modelo precisa escolher um departamento de suporte, atribuir uma pontuação de urgência ou responder sim ou não, ele não precisa produzir uma resposta textual completa. Ainda assim, um pipeline convencional de LLM o obriga a gerar JSON sequencialmente: chaves, nomes de campos, aspas e valores. Cada novo token espera pelo anterior, embora a própria decisão muitas vezes já esteja visível na distribuição de probabilidades após o processamento do prompt.

O autor do protótipo MiniJev propõe ler essa decisão diretamente dos logits, os números calculados pelo modelo antes da escolha do próximo token. A abordagem lembra a interface Jev da TypeSafe AI, mas não tenta reproduzir o modelo em si: o experimento usa o Qwen 2.5 1.5B Instruct convencional, sem ajuste fino. Tudo é executado em uma Nvidia T4 gratuita no Google Colab.

Como obter uma decisão sem gerar texto

Considere esta solicitação: “Fui cobrado duas vezes; devolvam um dos pagamentos.” O sistema faz três perguntas ao modelo: se o cliente está irritado, qual departamento deve receber a solicitação e qual é o grau de urgência. Para cada pergunta, as opções são enumeradas previamente e identificadas pelas letras A, B, C e assim por diante.

Depois de uma única passagem, o modelo já tem os logits do possível primeiro token da resposta. O MiniJev mantém apenas os logits das letras válidas, aplica softmax e obtém uma distribuição de probabilidades. Para o departamento, o resultado poderia ser: faturamento — 99,99%, suporte técnico — 0,005%, vendas — 0,001%. Não é necessário gerar chaves nem nomes de campos.

O código considera duas nuances práticas. Primeiro, o tokenizador pode codificar uma letra de formas diferentes com e sem um espaço inicial, então as probabilidades das variantes válidas de token único são combinadas. Segundo, às vezes o modelo favorece o primeiro ou o último item independentemente do significado. Para combater esse viés, as opções são reordenadas ciclicamente e, depois, suas probabilidades logarítmicas são calculadas pela média. O custo são prompts e cálculos adicionais, sobretudo quando há muitas opções.

Há velocidade, mas probabilidades confiáveis exigem mais trabalho

Em uma solicitação de teste, o tempo mediano do MiniJev foi de 0,1959 segundos. A geração de um JSON equivalente levou 1,0514 segundos, cerca de 5,4 vezes mais. É uma referência útil, mas não um resultado universal: a medição foi feita com um único modelo, uma única placa de vídeo e um único tipo de solicitação. A comparação também depende do processamento em lotes, do tamanho do JSON e do número de permutações das opções.

As probabilidades brutas não podem ser interpretadas automaticamente como confiança real. O modelo foi treinado para prever o próximo token, não para informar com que frequência está correto. O autor testou a calibração em 600 exemplos do SST-2: 200 foram usados para ajustar o Platt scaling e 400 para o teste. A precisão permaneceu em 92,7%, enquanto o erro esperado de calibração caiu de 6,8% para 2,5%. O resultado é promissor, mas abrange apenas um conjunto de dados e uma única divisão.

Onde aplicar

A abordagem é adequada para roteamento de solicitações, sinalizadores de moderação, detecção de intenção, escolha da próxima ação de um agente e avaliações em escala fixa. Ela garante que a resposta permaneça dentro da lista especificada, mas não garante que seja verdadeira: o modelo pode escolher com confiança uma opção incorreta.

A conclusão prática é simples. Se o conjunto de respostas for conhecido de antemão, primeiro teste a leitura dos logits em vez da geração de texto estruturado. Em seguida, reúna pelo menos algumas centenas de exemplos rotulados do ambiente correspondente, calibre as probabilidades e meça não apenas a latência, mas também a precisão, o ECE e o custo das permutações adicionais. Essa técnica não é adequada para respostas abertas nem explicações complexas, casos em que a geração continua necessária.