Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarIEEE Spectrum AI→ original

Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra

Para decidir rapidamente se um e-mail é spam ou se um comentário viola as regras, não é preciso que um LLM grande escreva um texto. A startup TypeSafe AI lançou o Jev, modelo que escolhe uma opção entre as fornecidas (A, B ou C) e responde, em média, em 150 ms, enquanto o GPT-6 Astra leva 1,89 segundo. Ele não consegue inventar uma resposta fora da lista, mas ainda assim erra em matemática e em problemas de lógica. Por isso, o melhor uso é em vereditos simples, deixando as tarefas complexas para um LLM grande.

Processado por IA de IEEE Spectrum AI; editado por Hamidun News
Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra
Fonte: IEEE Spectrum AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalIEEE Spectrum AI ↗
Editor-chefe
Dado-chave #1O Jev cobra $0,042 por milhão de tokens de entrada, e os de saída são gratuitos
Dado-chave #2O GPT-6 Astra custa $10 por milhão de tokens de entrada e $50 por milhão de tokens de saída
Alternativas abertasClef, da Cloudflare, baseada em Qwen, e SII-Decision

Se você usa um modelo de linguagem grande para moderar comentários, verificar e-mails de phishing ou triar solicitações de atendimento, provavelmente espera mais e paga mais do que precisaria. Essas tarefas não exigem um texto coeso: basta um veredito curto, como "sim", "não" ou "opção B". É nisso que se baseia uma nova classe de "modelos de decisão". Em 15 de setembro, a startup TypeSafe AI lançou o mais conhecido deles, o Jev. Segundo uma verificação independente, a latência mediana dele foi de 150 milissegundos, enquanto o GPT-6 Astra, da OpenAI, respondeu em 1,89 segundo. Vamos entender de onde vem essa diferença e onde ela chega ao limite.

Por que o modelo de decisão é rápido

A TypeSafe AI chama o Jev de "modelo de Sistema 1", uma referência ao livro "Rápido e devagar", de Daniel Kahneman, que contrapõe o pensamento intuitivo e rápido ao pensamento lento e deliberado. Na visão da empresa, os LLMs comuns entregam o segundo tipo, mas são lentos demais para o primeiro. A maioria dos pesquisadores chama esses modelos simplesmente de decision models.

O mecanismo é simples. Um LLM gera a resposta um token por vez: cada novo token depende de todos os anteriores, até o fim da resposta. Como explica Michelle Chen, da Cloudflare, o modelo de decisão não funciona assim: ele lê toda a entrada em uma única passada e já devolve um único resultado. Por dentro, continuam sendo os mesmos transformers (o Clef, da Cloudflare, por exemplo, é construído sobre o Qwen, da Alibaba), mas a saída é rigidamente restrita. Você fornece uma pergunta e as opções A, B e C, e o modelo devolve a escolha e as probabilidades de cada opção.

A empresa declara uma latência de ponta a ponta de 70–500 ms. Um grupo da Carnegie Mellon, liderado por Ramayya Krishnan, mediu uma mediana de 150 ms nos testes RewardBench e JudgeBench. O preço também é outro: o Jev cobra $0,042 por milhão de tokens de entrada, e os de saída são gratuitos. No GPT-6 Astra, são $10 pela entrada e $50 pela saída; no GPT-6 Luna, versão mais leve, $0,10 e $0,50. Os investidores acreditaram: a TypeSafe AI captou $870 milhões com avaliação de $7,5 bilhões, e Cloudflare, Amazon, OpenAI e Microsoft lançaram rapidamente seus próprios modelos de decisão.

Classificadores antigos com uma habilidade nova

Chen admite que isso é quase um rebranding: classificadores como filtros de spam e reconhecimento facial existem há muito tempo. Mas antes era preciso coletar dados para cada tarefa, montar uma equipe de machine learning e fazer o fine-tuning do modelo. O modelo de decisão herda o conhecimento geral dos LLMs e, por isso, segundo o desenvolvedor independente Matt Mastracci, dá para "pegar da prateleira, apontar para a sua tarefa, e ele funciona".

A Cloudflare já usa essa abordagem: filtra pull requests de spam em repositórios de documentação, detecta spam, e-mails de phishing e domínios maliciosos, identifica ataques de prompt injection contra LLMs e lê e-mails sobre falhas em links de backbone para entender se elas afetarão os serviços da empresa. Mastracci vê potencial na moderação do feed de redes sociais ou de um chat muito movimentado.

Não há alucinações, mas há erros

A afirmação da TypeSafe AI de que o Jev não pode alucinar é formalmente correta. Os LLMs inventam porque, a cada passo, escolhem entre um vocabulário enorme e podem tomar um caminho errado. O modelo de decisão calcula probabilidades apenas entre as opções previamente definidas e escolhe a mais provável, então não há como surgir uma resposta fora da lista.

Mas Krishnan alerta: a ausência de alucinações na saída não significa ausência de erros na decisão. O Jev se saiu bem ao determinar se uma resposta a uma pergunta estava correta quando isso era visível no próprio texto, mas teve desempenho pior quando era preciso resolver matemática ou um quebra-cabeça lógico. O estudo de Zhongyu Wei, da Universidade Fudan, que apresenta o modelo aberto SII-Decision, mostrou um quadro parecido: os melhores modelos de decisão são um pouco mais precisos que os LLMs na compreensão de documentos e ficam próximos deles na escolha da ferramenta de software adequada, mas perdem onde é necessária expertise especializada.

O que fazer na prática

Chen acredita que até 80% das tarefas típicas de LLM podem ser transferidas para um modelo de decisão. Essa é uma estimativa de fornecedor e deve ser tratada como hipótese. Testá-la é fácil: pegue o log das suas requisições, separe as tarefas do tipo "escolha uma opção" e rode-as no Clef ou no SII-Decision, que são abertos. Se, na sua amostra, a qualidade for comparável, você ganha em velocidade e em custo. Se não for, deixe esses casos com o modelo grande.

História

Perguntas frequentes sobre a notícia

Por que o modelo de decisão é rápido?

A TypeSafe AI chama o Jev de "modelo de Sistema 1", uma referência ao livro "Rápido e devagar", de Daniel Kahneman, que contrapõe o pensamento intuitivo e rápido ao pensamento lento e deliberado. Na visão da empresa, os LLMs comuns entregam o segundo tipo, mas são lentos demais para o primeiro. A maioria dos pesquisadores chama esses modelos simplesmente de decision models. O mecanismo é simples. Um LLM gera a resposta um token por vez: cada novo token depende de todos os anteriores, até o fim da resposta.

O que se sabe sobre Classificadores antigos com uma habilidade nova?

Chen admite que isso é quase um rebranding: classificadores como filtros de spam e reconhecimento facial existem há muito tempo. Mas antes era preciso coletar dados para cada tarefa, montar uma equipe de machine learning e fazer o fine-tuning do modelo. O modelo de decisão herda o conhecimento geral dos LLMs e, por isso, segundo o desenvolvedor independente Matt Mastracci, dá para "pegar da prateleira, apontar para a sua tarefa, e ele funciona".

O que se sabe sobre Não há alucinações, mas há erros?

A afirmação da TypeSafe AI de que o Jev não pode alucinar é formalmente correta. Os LLMs inventam porque, a cada passo, escolhem entre um vocabulário enorme e podem tomar um caminho errado. O modelo de decisão calcula probabilidades apenas entre as opções previamente definidas e escolhe a mais provável, então não há como surgir uma resposta fora da lista. Mas Krishnan alerta: a ausência de alucinações na saída não significa ausência de erros na decisão.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…