ThinkJev faz a IA pensar apenas nas perguntas difíceis: 28% menos tokens

Quando um modelo de linguagem está embutido em um serviço, a resposta costuma ser lida por um programa, não por uma pessoa. Por exemplo: em qual fila colocar uma solicitação, se uma mensagem viola as regras, se um registro extraído atende a uma condição. Pesquisadores da empresa chinesa Fujian Bosssoft chamam isso de decisão tipada: a resposta é uma letra de um conjunto fechado de opções, e cada opção tem uma probabilidade em que o código pode se apoiar.

O sistema deles, o ThinkJev, decide quando esse tipo de modelo pode responder de imediato e quando precisa pensar. O número principal: nas tarefas difíceis, o raciocínio termina mais cedo e consome 28% menos tokens, enquanto a precisão cai de 82,7% para 81,6%.

Duas velocidades em um só modelo

O problema é conhecido de quem já montou sistemas assim. A resposta rápida exige uma única passada pela rede: cerca de 100 ms para processar a consulta e cerca de 53 ms para ler a resposta, no caso do Qwen3.5-4B em uma única placa de vídeo. Mas, em tarefas de vários passos, ela costuma errar. Os autores montaram um conjunto próprio: soma de datas, contagem por condições, cadeias de regras, negações aninhadas, aritmética, grades lógicas, alcançabilidade em grafos, escalonamento de horários e problemas de xadrez, em inglês e chinês. Nesse conjunto, o Qwen3.5-27B acerta 52,3% com resposta rápida (o 4B, 40,3%) e 87,5% depois de raciocinar. Em compensação, o raciocínio se estende por segundos.

O truque está no fato de o Qwen3.5 ser um modelo híbrido: ele pode responder de imediato ou depois de um bloco de raciocínio. Nos dois modos, a consulta é idêntica até esse bloco, e a resposta é lida do mesmo ponto: das probabilidades das letras A, B, C… Por isso, um único modelo oferece dois "sistemas":

• o sistema 1 lê as letras depois de um bloco de raciocínio vazio, ou seja, de imediato;
• o sistema 2 lê as mesmas letras depois de um "pensamento" gerado.

O modelo processa a parte comum da consulta uma só vez. A resposta rápida é lida a partir de uma cópia do cache, e o raciocínio continua no original. A cópia é necessária porque, no Qwen3.5, camadas de atenção completa se alternam com camadas Gated DeltaNet, cujo estado não pode ser revertido. Não há reprocessamento da consulta quando a tarefa é passada "para cima". As probabilidades dos dois sistemas têm o mesmo formato, e o código as recebe da mesma maneira. O texto da resposta não é interpretado, então não existem respostas inválidas.

Garantia de erro e resposta com qualquer orçamento

Primeiro, é preciso definir quais tarefas dispensam o raciocínio. O limiar de confiança é calibrado em uma amostra rotulada pelo método Learn-then-Test. Ele garante que a taxa de erro entre as respostas rápidas aceitas não ultrapasse a meta definida. Tarefas do mesmo tipo, geradas a partir de um mesmo modelo, contam como um único exemplo, para que duplicatas não inflem a garantia. Para eliminar a tendência do modelo de preferir certas posições da lista, cada opção é lida várias vezes, com deslocamento cíclico da lista, e os resultados são calculados pela média.

Resultados com meta de 5% em 8359 decisões de teste:

• o Qwen3.5-27B responde sozinho a 24,5% das tarefas, com erro real de 3,9%;
• nos modelos menores, Qwen3.5-4B e 9B, essa fatia é bem mais modesta, e, nas metas mais rígidas, eles não assumem nenhuma decisão;
• no Qwen3.8-27B, na meta mais branda, o erro no teste fica ligeiramente acima da meta.

A outra questão é a duração do raciocínio. As letras podem ser lidas depois de qualquer número de tokens do "pensamento": o raciocínio é interrompido, insere-se a frase de parada antecipada prevista pela Qwen e as probabilidades são lidas. Um único "pensamento" produz resposta com qualquer orçamento, e o orçamento zero equivale ao sistema 1. A política "a qualquer momento" simplesmente para no primeiro ponto de verificação em que a resposta é confiante. Nas demais tarefas, isso rende 81,6% de precisão, contra 82,7% com raciocínio completo, consumindo 72% dos tokens.

Há também uma observação incômoda. Se a decisão de pensar ou não se basear apenas na confiança do sistema 1, a economia é menor. As tarefas em que a resposta rápida mais hesita não são necessariamente aquelas que o raciocínio corrige. Prever onde o modelo vai errar e prever onde o pensamento vai ajudar são problemas diferentes.

O que isso muda na prática

Nas tarefas públicas do JevBench, benchmark independente para serviços de decisões tipadas, o Qwen3.5-27B pensa em 29,4% dos casos. Em precisão, ele não se distingue de duas APIs comerciais com raciocínio, embora os autores classifiquem essa comparação como preliminar. O nome faz referência ao formato de consultas do modelo comercial Jev, da TypeSafe: o servidor ThinkJev aceita essas consultas, então o SDK do Jev pode se conectar a um modelo local. O projeto não tem vínculo com a TypeSafe, e o próprio Jev não foi testado.

Para engenheiros, a conclusão é esta. Se você já usa um modelo híbrido aberto, é possível obter o roteamento "responder rápido ou pensar" sem retreinamento, com limite de erro no ramo rápido e sem um segundo modelo. A limitação: o método funciona apenas para conjuntos fechados de opções, não para texto livre. O código e os geradores de dados estão abertos no GitHub (ding-xiaolu/ThinkJev).