Jev antes do Claude Sonnet: como reformular a pergunta elevou o AUC para 0,95

O Laboratório e o problema das análises caras e vazias

O autor mantém um pipeline chamado Laboratório. Tudo o que é interessante durante o dia — reels, posts, links de repositórios — fica salvo no Telegram. Uma vez por dia, um script coleta o que é novo, e o Claude Sonnet escreve uma análise para cada item. Depois, uma segunda passagem, atuando como editor, decide se publica a análise ou a envia para o arquivo.

O problema: entre os favoritos se misturam guias úteis, mensagens de trabalho, conteúdo pessoal e imagens sem uma única palavra. Ao rotular 67 itens, 28 se revelaram descartáveis. O Sonnet escrevia fielmente uma análise completa para cada um desses itens de lixo, só para o editor jogá-la fora — pura perda de tempo e de cota. O Sonnet roda com uma assinatura do Claude Code com limite semanal, então era preciso um filtro barato para descartar o lixo evidente antes que chegasse ao modelo grande.

Jev, da TypeSafe: um modelo para perguntas fechadas

A solução foi o Jev, um modelo da startup TypeSafe lançado em 15 de setembro de 2026. Ele é feito para perguntas fechadas: você envia um texto junto com um dicionário de perguntas e, em vez de um parágrafo de texto, recebe valores com probabilidades. A entrada custa $0,042 por milhão de tokens; a saída é gratuita.

Três tipos de pergunta:

• noul: retorna a probabilidade de "sim", de 0 a 1
• choice: escolhe de uma lista enviada (até 255 opções) e retorna a probabilidade de cada opção mais um nível de confiança
• score: avalia em uma escala ordenada

Todas as perguntas sobre um mesmo texto são processadas em uma única passagem. Segundo os próprios testes da TypeSafe, as respostas do Jev coincidem com o resultado de referência de modelos grandes em duas a cada três vezes (68%).

Quando o autor tentou se cadastrar, a TypeSafe não estava registrando novos usuários. Mas o Jev está disponível no Cloudflare Workers AI sob o nome typesafe/jev, marcado como Zero data retention. Peculiaridades: só é possível pagar a partir de um saldo pré-pago do AI Gateway, e a resposta fica um nível mais profundo do que a documentação da TypeSafe indica (result.result.answers).

A lição principal: a formulação pesa mais do que o modelo

Antes do Laboratório, o autor já tinha testado o Jev em outra tarefa: filtrar fatos para uma base de conhecimento. A primeira pergunta era genérica: "isso é um fato útil?" No conjunto rotulado, isso deu um AUC de 0,46 — pior do que jogar uma moeda. Depois ele reescreveu a pergunta para incluir uma razão real: "isso é sobre o mundo real, e não sobre uma edição de documento ou um detalhe técnico". Mesmo modelo, mesmos textos, e o AUC subiu para 0,95. Em decisões de gosto pessoal, nunca passou de 0,72–0,77 — nesses casos, o Jev só serve como um pré-filtro cauteloso.

O autor levou essa regra para o Laboratório: não perguntar ao modelo sobre "utilidade" de forma abstrata, mas listar as razões reais pelas quais um item é arquivado.

Uma especificação para o

Laboratório: seis categorias em vez de perguntas vagas

Em vez de várias perguntas de sim/não, o Laboratório usa uma única pergunta do tipo choice, com opções mutuamente exclusivas que espelham as razões reais de rejeição registradas no histórico do editor:

• guide: uma ferramenta, serviço, repositório, prompt, habilidade, configuração ou técnica específica é mostrada ou nomeada, e o leitor conseguiria encontrá-la e replicá-la. Conta mesmo que seja publicidade
• idea: um esquema, framework, fórmula ou modelo passo a passo que pode ser desmembrado em pontos
• no_text: quase não há texto ou fala, só um link, imagem ou foto
• owner_work: trabalho do próprio autor — uma mensagem a um colega, o rascunho de um post, um link para o próprio produto
• personal: conteúdo pessoal não relacionado a trabalho com IA — esporte, família, saúde, cotidiano
• no_method: uma opinião, afirmação, anúncio ou notícia sem nenhuma ferramenta, técnica ou esquema

A probabilidade de "manter" é calculada como a soma das probabilidades de guide e idea. Se ficar abaixo do limiar de 0,2, o item nunca chega ao Sonnet.

Duas semanas em produção: $0,0028 e uma economia real

Entre 26 de setembro e 6 de outubro, o registro mostra 26 chamadas. Juntas, custaram $0,0028 — cerca de um centésimo de centavo por chamada, em textos de 90 a 3.100 caracteres. A partir de Moscou, as respostas demoram mais do que os 70–500 ms declarados (a TypeSafe mediu a partir de laptops na costa oeste dos EUA): mediana de 1,3 segundo, primeira chamada de 2 a 9 segundos, chamadas seguintes geralmente abaixo de 1,5 segundo.

Na primeira execução em produção, em 5 de outubro, o Jev descartou um item — um arquivo de mídia quase sem texto, com probabilidade de 0,01. A economia em dinheiro é irrisória, mas a de cota é perceptível: antes, cada item desses consumia uma análise completa do Sonnet e uma passagem de edição.

Onde o Jev não funciona

Tarefas abertas que exigem uma explicação em linguagem humana continuam sendo trabalho de LLM. Decisões de gosto pessoal sem sinais claros seguem fracas (o próprio AUC de 0,72–0,77 do autor confirma isso). Contagem, datas e textos longos e ruidosos também são pontos fracos: o modelo lê a pergunta de forma literal, conta mal e se confunde com datas. Dados sensíveis são outra preocupação — os textos passam por um serviço americano via Cloudflare, então vale decidir com antecedência o que pode ser enviado.

O Jev funciona bem onde a mesma pequena bifurcação se repete muitas vezes, há sinais claros, e um erro em uma direção custa menos do que na outra. No caso do autor, trata-se de filtrar conteúdo antes que chegue a um modelo caro.