Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DTechCrunch→ original

Modelos de decisão respondem por mais de 25% das requisições no roteador da Vercel um mês após surgirem

Modelos de decisão são LLMs que não escrevem texto. Eles escolhem, de forma rápida e barata, uma entre opções predefinidas e informam o grau de confiança na escolha. Em outubro, responderam por mais de 25% das requisições no roteador da Vercel, embora a classe tenha surgido apenas um mês antes. A Microsoft lançou o seu modelo no Azure, e a startup Sqwish levantou $3 milhões para fazer fine-tuning com os dados do cliente. Por isso, vale comparar esses modelos no seu próprio tráfego, e não pelos benchmarks.

Processado por IA de TechCrunch; editado por Hamidun News
Modelos de decisão respondem por mais de 25% das requisições no roteador da Vercel um mês após surgirem
Fonte: TechCrunch. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTechCrunch ↗
Editor-chefe
TypeSafe Jevem uma semana, o OpenRouter processou mais de 1,5 bilhão de requisições
Dado-chave #2A Sqwish (kettei fat) captou $3 milhões em rodada pre-seed e faz fine-tuning do modelo com os dados do cliente
Dado-chave #3O Microsoft-Decision-1.1 ficou disponível no Azure logo após o anúncio de Nadella

Se você constrói um produto com LLMs, provavelmente tem tarefas para as quais um modelo grande é exagero. Definir a que categoria pertence um ticket. Decidir se uma requisição deve ir para um modelo caro ou se um barato resolve. Entender se algo é spam ou não. Para esse tipo de tarefa, surgiu no último mês uma classe própria de modelos, e ela cresce em ritmo acelerado: segundo o TechCrunch, em outubro mais de uma em cada quatro requisições no roteador de IA da Vercel foi para modelos de decisão, e não para LLMs convencionais.

O que é um modelo de decisão

É uma LLM que não gera a resposta em palavras. Ela é ajustada para usar a "inteligência" geral e escolher de forma rápida e barata entre opções predefinidas, mostrando também o quanto está confiante na escolha. Pense em um administrador de plantão que, em vez de escrever um e-mail para você, apenas marca o campo certo e acrescenta: "90% de certeza". Em produção, isso é conveniente: quando a decisão precisa sair em frações de segundo e por centavos, um modelo de fronteira lento e caro, com raciocínio longo, só atrapalha.

Chama a atenção a rapidez com que tudo aconteceu. A TypeSafe passou a valer $7,5 bilhões depois do lançamento da família de modelos Jev, que continua líder em uso, pelo menos onde as métricas são visíveis. Pelo OpenRouter, por exemplo, os modelos da TypeSafe receberam mais de 1,5 bilhão de requisições na semana passada. Mas construir um modelo desse tipo se mostrou fácil: depois do Jev, surgiram dezenas de equivalentes, um engenheiro da Amazon montou o seu em um fim de semana, e todo hyperscaler agora tem uma versão própria. Na terça-feira, Satya Nadella anunciou que a Microsoft já lança de imediato o Microsoft-Decision-1.1 para uso amplo no Azure.

Dados pesam mais que arquitetura

Se fazer o modelo é fácil, como se destacar? O chefe da TypeSafe, Diogo Almeida, diz que o mais difícil no Jev foi a calibração fina dos julgamentos com dados sintéticos e ajuste estatístico. Ou seja, importa não só o que o modelo escolhe, mas também a honestidade com que ele avalia a própria confiança.

A startup britânica Sqwish, criadora do modelo kettei fat, aposta na customização. Hoje ela anunciou uma rodada pre-seed de $3 milhões. Os cofundadores Ushnish Sengupta e Federica Freddi se conheceram em Cambridge e trabalhavam com LLMs pequenas. Quando o Jev apareceu, perceberam que suas arquiteturas podiam ser adaptadas para um modelo de decisão. O diferencial da Sqwish são as ferramentas de fine-tuning integradas: o cliente envia seus dados de produção, e o modelo melhora justamente nas tarefas dele. Segundo o CEO, é isso que distingue a empresa de um produto commodity: os clientes recebem o mesmo poder com que os próprios autores treinaram os modelos.

Benchmarks são apenas um convite

Comparar esses modelos por tabelas é difícil. O kettei fat foi bem em alguns benchmarks, mas os próprios desenvolvedores admitem que é preciso testar na prática. Trocar um modelo por outro em um cenário específico costuma ser simples. Sengupta chama o benchmark de "convite para experimentar", e o que deve manter o cliente é o fine-tuning contínuo.

Achint Srivastava, vice-presidente de engenharia da Microsoft que liderou o projeto, expressou uma ideia parecida. Segundo ele, modelos otimizados demais para benchmarks falham rapidamente na operação corporativa real. O Microsoft-Decision-1.1 equilibra custo, latência, inteligência e calibração e, junto com o Jev, segundo a empresa, é um dos poucos que vão bem nos quatro eixos, inclusive em testes separados (held-out) próximos de cenários reais. Atenção: essa é uma afirmação da própria Microsoft, e a matéria não traz comparações independentes.

O que isso significa para desenvolvedores

Federica Freddi prevê que, no futuro, o "Sistema 1" (modelos de decisão rápidos) vai trabalhar em conjunto com o "Sistema 2", as LLMs de fronteira pesadas. Mesmo nesse cenário, ela considera que o mercado do "Sistema 1" pode valer $10–50 bilhões, e que para a Sqwish isso é a única coisa em que a empresa trabalha, enquanto para a OpenAI é um projeto paralelo. A previsão, claro, vem de uma startup e não é garantia.

A conclusão prática é simples. Se parte do seu tráfego é classificação e roteamento, tente migrá-la para um modelo de decisão: fica mais barato e mais rápido. Escolha pelos seus dados, não pelos leaderboards: trocar o modelo é fácil, então rode dois ou três candidatos em requisições reais. Olhe não só a precisão, mas também a calibração da confiança: é ela que vai definir quando passar a tarefa para o modelo pesado. E fique de olho em quem oferece fine-tuning com os seus dados, porque, a julgar pelo mercado, é aí que estará a concorrência.

História

Perguntas frequentes sobre a notícia

O que é um modelo de decisão?

É uma LLM que não gera a resposta em palavras. Ela é ajustada para usar a "inteligência" geral e escolher de forma rápida e barata entre opções predefinidas, mostrando também o quanto está confiante na escolha. Pense em um administrador de plantão que, em vez de escrever um e-mail para você, apenas marca o campo certo e acrescenta: "90% de certeza".

O que se sabe sobre Dados pesam mais que arquitetura?

Se fazer o modelo é fácil, como se destacar? O chefe da TypeSafe, Diogo Almeida, diz que o mais difícil no Jev foi a calibração fina dos julgamentos com dados sintéticos e ajuste estatístico. Ou seja, importa não só o que o modelo escolhe, mas também a honestidade com que ele avalia a própria confiança. A startup britânica Sqwish, criadora do modelo kettei fat, aposta na customização. Hoje ela anunciou uma rodada pre-seed de $3 milhões.

O que se sabe sobre Benchmarks são apenas um convite?

Comparar esses modelos por tabelas é difícil. O kettei fat foi bem em alguns benchmarks, mas os próprios desenvolvedores admitem que é preciso testar na prática. Trocar um modelo por outro em um cenário específico costuma ser simples. Sengupta chama o benchmark de "convite para experimentar", e o que deve manter o cliente é o fine-tuning contínuo. Achint Srivastava, vice-presidente de engenharia da Microsoft que liderou o projeto, expressou uma ideia parecida.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…