L'agent 4B Mage-VL-Cowork atteint 66,0% sur OSWorld-Verified et dépasse un modèle 30B

L'équipe Mage présente Mage-VL-Cowork, un agent de 4 milliards de paramètres conçu pour utiliser un ordinateur. Il voit le bureau à travers des captures d'écran, déplace la souris et appuie sur des touches. Si besoin, il lance du code et des commandes dans un terminal au sein du même épisode. Sur OSWorld-Verified (un benchmark de tâches dans de vraies applications de bureau), avec une limite de 50 étapes, il obtient 66,0%. C'est mieux que Muse Glimmer-30B (65,9%), Qwen3.6-27B (63,9%) et EvoCUA-32B (56,7%). Le niveau humain sur ce test est de 72,4%.

Un seul agent, deux canaux de contrôle

L'interface graphique est universelle, mais coûteuse : une seule capture d'écran peut représenter des milliers de tokens, et une action réalisable en une commande se transforme en dizaines de clics. Un utilisateur à l'aise avec son ordinateur ouvre le terminal quand c'est plus rapide, et vérifie le résultat dans le fichier plutôt que dans le texte d'une conversation. Mage-VL-Cowork choisit lui-même le canal, au sein d'une politique unique. C'est ce qui le distingue de systèmes comme CoAct-1, où un orchestrateur répartit le travail entre un agent GUI et un agent codeur distincts.

Disposer d'un accès simple aux outils ne garantit pas de savoir s'en servir. Même les modèles performants choisissent mal leur canal avec une configuration standard : ils cliquent là où un appel de bibliothèque suffirait, ou modifient un fichier sur le disque alors que l'application ouverte conserve son état en mémoire et l'écrasera à la fermeture. Si l'on distille de telles trajectoires, l'élève hérite des mêmes travers.

Faire évoluer le harness plutôt que distiller directement

Les auteurs ne copient pas par défaut le comportement de l'enseignant. Ils font évoluer son harness : l'ossature, les interfaces d'outils, les prompts et l'environnement de terminal. Un agent-auteur propose des variantes et retient la configuration offrant le meilleur équilibre entre réussite et coût sur des tâches de débogage. L'évolution passe aussi par la suppression : les outils redondants ou inadaptés sont retirés, afin que l'enseignant produise des trajectoires hybrides propres.

On obtient ainsi des configurations spécialisées : un harness GUI, un harness terminal et un harness hybride. Les mêmes tâches sont exécutées avec plusieurs d'entre elles, ce qui permet de collecter des trajectoires aux accents différents.

Une usine à tâches et un entraînement en cinq étapes

Un tel entraînement exige des milliers d'environnements variés. Le pipeline Mage-CUA-Forge ne construit pas chaque tâche de zéro avec un agent ouvert : il crée, pour chaque compétence atomique, un workflow réutilisable. Celui-ci associe des nœuds LLM et des préparateurs d'applications, qui génèrent les artefacts d'entrée, par exemple une feuille Calc ou un profil Thunderbird avec une boîte mail remplie.

En sortie, on obtient un paquet composé d'une consigne, d'un script de configuration de l'environnement et d'une grille d'évaluation, tandis que des nœuds de vérification contrôlent la cohérence avant l'acceptation de la tâche. Au total, 293 806 tâches ont été synthétisées pour 6 915 compétences, et les coûts récurrents par tâche ont baissé de 82,6%. Pour l'entraînement, 318 837 trajectoires de l'enseignant ont été collectées, puis filtrées selon la grille d'évaluation par un LLM juge et selon leur qualité.

L'entraînement part d'un checkpoint généraliste aligné de façon multimodale, et non d'un modèle déjà capable de manipuler des GUI, du code et des scénarios agentiques. Il comporte cinq étapes : GUI mid-training, SFT sur des agents GUI, SFT sur le code et le terminal, SFT hybride et RL en ligne. La performance progresse par paliers : GUI SFT à 45,56%, SFT hybride à 55,84%, RL final à 66,0%, soit un gain de 20,44 points de pourcentage. Les résultats de l'élève servent aussi à étendre et affiner la taxonomie des compétences entre les cycles de génération.

Ce que cela signifie

Un modèle de 4 milliards de paramètres obtient le meilleur résultat parmi les agents ouverts de sa taille et dépasse des modèles 7 à 8 fois plus gros. Les auteurs attribuent ce résultat à la qualité du harness de l'enseignant et à la propreté des données d'entraînement, et non au nombre de paramètres. Pour les usages locaux, c'est un argument en faveur d'agents compacts, capables de tourner sur l'appareil de l'utilisateur avec un coût de raisonnement plus faible.