Modelo barato como filtro antes do Claude Sonnet: a formulação da pergunta rendeu AUC de 0,95

Quase metade dos materiais que o autor salva no Telegram para o blog não serve para o blog. Mesmo assim, o Claude Sonnet escreve, uma vez por dia, uma análise completa de cada um deles e gasta tokens à toa. A solução segue a lógica clássica de cascata: colocar antes do modelo caro um modelo barato, que decide se vale a pena chamá-lo. O autor descreveu no Habr os resultados das duas primeiras semanas.

Problema e arquitetura

O ponto de partida é familiar para quem mantém um pipeline de conteúdo com LLM. Salvar em «Mensagens Salvas» é fácil, e vai parar ali de tudo: notícias, links, artigos úteis e nem tanto. Depois entra o Sonnet e prepara uma análise de cada item. Parte do material desse fluxo não vai para o blog em hipótese alguma, mas cada item é cobrado.

Antes do Sonnet, o autor colocou um modelo pequeno, que chama de Jev. Ele não dá o veredito «aproveitar» ou «descartar». Ele responde com a probabilidade de o material servir para o blog. O limiar de corte pode ser ajustado sem mexer no modelo. Para uma tarefa em que o custo do erro é assimétrico, isso é mais conveniente que uma resposta binária: perder um bom material sai mais caro que fazer uma análise desnecessária.

A pergunta pesa mais que o modelo

A principal conclusão da publicação é que a formulação da pergunta feita ao filtro influenciou o resultado mais que a escolha do próprio modelo. Pela métrica AUC, as duas versões da tarefa ficaram em 0,46 e 0,95.

O primeiro número é pior que cara ou coroa: um AUC de 0,5 significa que o modelo não distingue o que serve do que não serve. O segundo se aproxima de um bom classificador. A diferença surgiu sem trocar pesos e sem fine-tuning, apenas pela forma de fazer a pergunta. Para quem hesita entre «usar um modelo maior» e «reescrever o prompt», esse é um argumento a favor da segunda opção. Primeiro vale medir o AUC em uma amostra rotulada e só depois trocar de modelo.

O que se sabe pelo anúncio

• Fluxo de entrada: tudo o que o autor salva no Telegram.
• Modelo caro: Claude Sonnet, uma passada por dia.
• Parcela desnecessária: quase metade dos itens salvos para o blog.
• Filtro: o modelo barato Jev, com resposta em forma de probabilidade.
• Qualidade: AUC de 0,46 contra 0,95, dependendo da formulação da pergunta.
• Observação: log de duas semanas de operação.
• Proteção: o código tem travas de segurança, e o funcionamento delas é detalhado no artigo completo.

O anúncio não traz preços, o limiar exato, o tamanho da amostra rotulada nem a taxa de rejeições indevidas. Sem esses dados, não é possível avaliar a economia real, e é preciso ler o texto completo para verificar.

O que dá para aproveitar

O esquema se aplica a qualquer pipeline em que um modelo caro processa um fluxo heterogêneo: análise de solicitações, moderação, triagem de chamados, preparação de resumos. Alguns passos práticos que decorrem da experiência do autor:

1. Rotule manualmente ao menos uma amostra pequena e calcule o AUC antes de colocar em produção. Sem isso, um erro na formulação passa despercebido. 2. Peça ao filtro uma probabilidade, e não sim ou não. Assim, o limiar pode ser ajustado separadamente. 3. Preveja travas de segurança para quando o filtro estiver indisponível, responder de forma estranha ou cortar demais. Um comportamento padrão seguro é melhor que a perda silenciosa de materiais. 4. Mantenha um log das decisões do filtro e revise periodicamente o que foi descartado. Duas semanas de registros mostram o que não aparece no início.

O método não exige nem novos modelos nem nova infraestrutura. Basta uma chamada barata antes da cara e disciplina nas medições.