Agente de 4B Mage-VL-Cowork marca 66,0% no OSWorld-Verified e supera modelo de 30B

A equipe Mage apresentou o Mage-VL-Cowork, um agente de 4 bilhões de parâmetros para controle de computador. Ele enxerga a área de trabalho por meio de screenshots, move o mouse, pressiona teclas e, se preciso, executa código e comandos no terminal no mesmo episódio. No OSWorld-Verified (benchmark de tarefas em aplicativos desktop reais), com limite de 50 passos, o agente marcou 66,0%. O número supera o do Muse Glimmer-30B (65,9%), do Qwen3.6-27B (63,9%) e do EvoCUA-32B (56,7%). O nível humano nesse teste é de 72,4%.

Um agente, dois canais de controle

A interface gráfica é universal, mas cara: um único screenshot pode custar milhares de tokens, e uma ação que se resolveria com um comando vira dezenas de cliques. Uma pessoa que domina o computador abre o terminal quando é mais rápido e confere o resultado no arquivo, não no texto da conversa. O Mage-VL-Cowork escolhe o canal por conta própria, dentro de uma política única. Isso o diferencia de sistemas como o CoAct-1, em que um orquestrador distribui o trabalho entre um agente de GUI e um agente programador separados.

Ter acesso simples às ferramentas não garante que o modelo saiba usá-las. Mesmo modelos fortes, em configuração padrão, escolhem mal o canal: clicam onde bastaria chamar uma biblioteca ou editam um arquivo no disco, embora o aplicativo em execução mantenha o estado na memória e vá sobrescrevê-lo ao fechar. Se essas trajetórias forem destiladas, o aluno herda os mesmos vícios.

Evolução do harness em vez de destilação direta

Os autores não copiam o comportamento padrão do professor. Eles desenvolvem o harness do modelo: a estrutura de apoio, as interfaces das ferramentas, os prompts e o ambiente de terminal. Um agente-autor propõe variantes e escolhe, em tarefas de depuração, a configuração com o melhor equilíbrio entre taxa de sucesso e custo. A evolução também inclui remoção: ferramentas que se sobrepõem ou que não servem são eliminadas, para que o professor gere trajetórias híbridas limpas.

O resultado são configurações especializadas: um harness de GUI, um de terminal e um híbrido. As mesmas tarefas passam por várias delas, e assim se coletam trajetórias com ênfases diferentes.

Fábrica de tarefas e treinamento em cinco etapas

Esse tipo de treinamento exige milhares de ambientes variados. O pipeline Mage-CUA-Forge não constrói cada tarefa do zero com um agente aberto: para cada habilidade atômica, ele cria um fluxo de trabalho reutilizável. O fluxo combina nós de LLM e preparadores de aplicativos, que geram os artefatos de entrada, como uma planilha do Calc ou um perfil do Thunderbird com a caixa de e-mail preenchida.

A saída é um pacote com instrução, script de configuração do ambiente e rubrica de avaliação, e nós de verificação checam a consistência antes de a tarefa ser aceita. Com isso, foram sintetizadas 293 806 tarefas em 6 915 habilidades, e o custo recorrente por tarefa caiu 82,6%. Para o treinamento, foram coletadas 318 837 trajetórias do professor, filtradas pela rubrica com um LLM como juiz e por critérios de qualidade.

O treinamento parte de um checkpoint geral com alinhamento multimodal, e não de um modelo que já saiba lidar com GUI, código e cenários agênticos. As cinco etapas são: mid-training em GUI, SFT em agentes de GUI, SFT em código e terminal, SFT híbrido e RL online. A qualidade sobe em degraus: GUI SFT, 45,56%; SFT híbrido, 55,84%; RL final, 66,0%, ou seja, 20,44 pontos percentuais a mais. Os resultados do aluno também orientam a expansão e o refinamento da taxonomia de habilidades entre as rodadas de geração.

O que isso significa

Um modelo de 4 bilhões de parâmetros alcançou o melhor resultado entre os agentes abertos de seu porte e superou modelos de 7 a 8 vezes o seu tamanho. Os autores atribuem o desempenho à qualidade do harness do professor e à limpeza dos dados de treinamento, e não ao número de parâmetros. Para cenários locais, é um argumento a favor de agentes compactos, capazes de rodar no dispositivo do usuário com menor custo de raciocínio.