Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarX: @Chinazhidx→ original

DaisyRose-27B, modelo aberto, resolve 12% das tarefas do Terminal-Bench, contra 5,6% antes

A RadixArk liberou o modelo aberto DaisyRose-27B, ajustado durante 18 dias em 144 GPUs H200 para trabalhar no terminal como um desenvolvedor. No Terminal-Bench 4.1, a taxa de tarefas resolvidas na primeira tentativa subiu de 5,6% para 12,0% (o GPT-6 Luna marca 15,2%). Cada uma das 1 200 tarefas de treinamento mirava um erro específico do modelo-base Qwen3.8-27B. A conclusão prática: as falhas frequentes do seu próprio agente podem virar um conjunto de treinamento, e a licença Apache 2.0 permite levar o modelo para um produto.

Processado por IA de X: @Chinazhidx; editado por Hamidun News
DaisyRose-27B, modelo aberto, resolve 12% das tarefas do Terminal-Bench, contra 5,6% antes
Fonte: X: @Chinazhidx. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @Chinazhidx ↗
Editor-chefe
Dado-chave #1A pilha de treinamento mantém as GPUs em 37% de utilização, contra 16% de uma alternativa baseada em Megatron
Dado-chave #216 800 tokens/s contra 8 300; o mesmo trabalho consome 57% menos tempo de GPU
Dado-chave #3Roda em uma única RTX 5090 ou em um NVIDIA DGX Spark

Imagine um agente encarregado de consertar, no terminal, um build quebrado: achar o erro nos logs, corrigir a configuração, rodar os testes de novo e não derrubar o serviço vizinho. A maioria dos modelos abertos ainda patina nesse tipo de tarefa. A startup RadixArk lançou seu primeiro modelo de pesos abertos, o DaisyRose-27B, e dobrou o resultado dele no Terminal-Bench 4.

1: a fatia de tarefas que o agente resolve na primeira tentativa (métrica pass@1) subiu de 5,6% para 12,0%. Para comparação, o GPT-6 Luna marca 15,2%. A ideia central é que o modelo não foi treinado com uma mistura genérica de dados, mas com tarefas em que cada uma mirava um erro específico do modelo-base.

Para quem desenvolve, o sinal é prático: os pontos fracos de um agente podem virar material de treinamento.

Um experimento que virou produto

Segundo o cofundador e diretor de tecnologia Banghua Zhu, o projeto não nasceu como o lançamento de um modelo, mas como um teste de resistência da infraestrutura. A equipe queria saber se o sistema aguentaria treinar agentes com contexto de um milhão de tokens, se era possível aumentar a utilização das GPUs e se dava para baratear os sandboxes em que os agentes executam código. Os resultados superaram as expectativas, e o teste de estresse acabou gerando um modelo.

A base foi o Qwen3.8-27B, ajustado com aprendizado por reforço (reinforcement learning) por meio do framework Miles: o modelo tenta resolver a tarefa, recebe uma avaliação e se adapta. Junto com a Eigent AI, a equipe reuniu 1 200 tarefas cuidadosamente selecionadas. É como estudar não por um livro didático genérico, mas por uma lista dos próprios erros: o professor particular escolhe exercícios sob medida para eles.

As tarefas eram longas. Uma única tentativa podia durar até 1,5 hora, incluir mais de 100 chamadas de ferramentas e gerar mais de 256 mil tokens. O treinamento todo levou 18 dias em 144 GPUs NVIDIA H200.

O que os números mostram

O resultado mais visível está na infraestrutura. De acordo com a RadixArk, o backend de treinamento próprio atingiu 37% de MFU, ou seja, usou 37% do máximo teórico do hardware. Um treinador open source comparável, baseado em Megatron, ficou em 16%. A velocidade foi de 16 800 tokens por segundo, contra 8 300 nas mesmas 144 GPUs. Com isso, a mesma carga exige 57% menos tempo de GPU. Para quem paga pelo aluguel de H200 por hora, é economia direta.

Quanto à qualidade, o DaisyRose-27B superou o Qwen3.8-27B-base nos sete benchmarks publicados. O maior ganho veio no Terminal-Bench 4.1: mais que o dobro, de 5,6% para 12,0%. Os demais avanços são mais modestos:

  • DeepSWE v1.1: de 42,2 para 46,2;
  • SWE-Bench Pro v2: de 91,3 para 94,7;
  • GPQA Diamond: de 89,2 para 90,7.

Chama a atenção que também houve ganho no GPQA Diamond, um teste de perguntas científicas, embora o treinamento tenha usado tarefas de agente.

Por que isso importa para desenvolvedores e fundadores

Primeira conclusão: dá para melhorar a qualidade de um agente com um conjunto pequeno de tarefas, desde que cada uma mire uma fraqueza real do modelo. Mil e duzentas tarefas ficam longe da escala da internet e representam um volume que uma equipe pequena, com um parceiro, consegue montar. Se você tem logs em que seu agente erra de forma recorrente, pode transformá-los em tarefas de treinamento próprias.

Segunda conclusão: o gargalo das execuções longas de agentes costuma estar na pilha de treinamento, e não no modelo em si. Quando o mesmo trabalho exige 57% menos tempo de GPU, cada iteração fica mais barata e dá para testar mais hipóteses.

Terceira: a licença Apache 2.0 permite uso comercial, e os 27 bilhões de parâmetros deixam o modelo ao alcance do hardware. Segundo os autores, ele roda em uma única RTX 5090 ou em um NVIDIA DGX Spark, então é possível testar o agente localmente, sem alugar um cluster.

Ressalvas

Todos os números foram publicados pela própria RadixArk, e não há execuções independentes. A comparação com o treinador baseado em Megatron foi feita na carga de trabalho da própria empresa, e em outras tarefas a diferença pode ser outra. O resultado de 12,0% no Terminal-Bench ainda significa que a grande maioria das tarefas não é resolvida na primeira tentativa, por isso um agente assim ainda não está pronto para produção sem supervisão humana. Também não se sabe como o modelo se comporta em tarefas diferentes das 1 200 selecionadas. Mesmo assim, como exemplo de que ajuste fino pontual e infraestrutura eficiente geram ganho perceptível com orçamento modesto, o DaisyRose-27B merece atenção.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Um experimento que virou produto?

Segundo o cofundador e diretor de tecnologia Banghua Zhu, o projeto não nasceu como o lançamento de um modelo, mas como um teste de resistência da infraestrutura. A equipe queria saber se o sistema aguentaria treinar agentes com contexto de um milhão de tokens, se era possível aumentar a utilização das GPUs e se dava para baratear os sandboxes em que os agentes executam código. Os resultados superaram as expectativas, e o teste de estresse acabou gerando um modelo.

O que os números mostram?

O resultado mais visível está na infraestrutura. De acordo com a RadixArk, o backend de treinamento próprio atingiu 37% de MFU, ou seja, usou 37% do máximo teórico do hardware. Um treinador open source comparável, baseado em Megatron, ficou em 16%. A velocidade foi de 16 800 tokens por segundo, contra 8 300 nas mesmas 144 GPUs. Com isso, a mesma carga exige 57% menos tempo de GPU. Para quem paga pelo aluguel de H200 por hora, é economia direta.

Por que isso importa para desenvolvedores e fundadores?

Primeira conclusão: dá para melhorar a qualidade de um agente com um conjunto pequeno de tarefas, desde que cada uma mire uma fraqueza real do modelo. Mil e duzentas tarefas ficam longe da escala da internet e representam um volume que uma equipe pequena, com um parceiro, consegue montar. Se você tem logs em que seu agente erra de forma recorrente, pode transformá-los em tarefas de treinamento próprias.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…