Microsoft publie Mage-VL-Cowork, un modèle de 4B qui résout 66,0% des tâches d'OSWorld-Verified

Microsoft a publié sur Hugging Face Mage-VL-Cowork, un modèle ouvert de 4 milliards de paramètres pour les agents desktop (CUA, c'est-à-dire une IA qui travaille elle-même sur un ordinateur). Sur le benchmark OSWorld-Verified, où les agents résolvent des tâches dans de vrais systèmes d'exploitation, il a réussi 66,0% des 361 tâches held-out avec un budget de 50 étapes. Jusqu'ici, deux approches coexistaient dans ce domaine : un agent qui ne voit que des captures d'écran et clique avec la souris, et un agent qui écrit du code et modifie directement les fichiers. Microsoft réunit les deux dans un seul modèle compact, qui choisit lui-même la voie à suivre à chaque étape.

Deux canaux d'action au sein d'une seule politique

Le système n'a pas de routeur externe. Le modèle détermine seul l'outil dont il a besoin. Pour une maquette visuelle, une retouche sur un canevas ou le travail sur l'état en direct d'une application, il utilise le canal computer_use : 11 primitives GUI et des coordonnées normalisées. Pour les modifications structurées dans des tableurs et des documents, ainsi que pour vérifier le résultat une fois le travail terminé, il passe par bash, un shell persistant avec un environnement Python.

La logique est claire. Modifier un fichier xlsx par des dizaines de clics dans les menus est plus long et plus fragile que d'écrire le fichier via openpyxl. En revanche, un script ne peut pas corriger un effet visuel sur une image.

Le score de 66,0% sur OSWorld-Verified est une moyenne sur deux passes complètes des 361 tâches held-out. Dans le même tableau, Qwen3.6-27B obtient 63,9% et Muse Glimmer-30B 65,9%. ScaleCUA-Qwen3.5-9B affiche toutefois 68,7%, soit davantage. On ne peut donc pas affirmer que le petit modèle bat tous ses concurrents.

Comment Microsoft a constitué ses données d'entraînement

Premier constat, côté enseignant : un modèle puissant doté d'un excès d'outils prend de mauvaises habitudes, qui se transmettent à l'élève lors de la distillation. Microsoft a supprimé les canaux redondants comme xdotool et les arbres d'accessibilité encombrants, et a préinstallé les bibliothèques Python nécessaires. Résultat : l'enseignant GPT-5.4 est monté à 92,0% avec 29,2% d'étapes en moins. L'élève entraîné sur ces trajectoires obtient 37,6% contre 25,1%, soit 12,5 points de pourcentage de plus.

Deuxième point, la génération de tâches. Le pipeline Mage-CUA-Forge écrit une seule fois un workflow générateur pour chaque compétence atomique, au lieu de lancer une boucle d'agent ouverte pour chaque tâche. Il a produit 293 806 tâches couvrant 6 915 compétences. Le coût d'une tâche est passé de 0,906 à 0,158 dollar, soit une baisse de 82,6%.

Troisième point, l'entraînement en cinq étapes. Le modèle apprend d'abord séparément l'ancrage visuel sur les éléments (grounding), l'exécution GUI et le travail dans le terminal. Le Hybrid SFT lui apprend ensuite à basculer entre les canaux. La dernière étape est un GRPO en ligne, avec une récompense fondée sur le résultat vérifiable de la tâche. Le score progresse de 45,56% à 55,84%, puis à 66,0%. Le RL en ligne a ajouté 10,16 points de pourcentage et, en même temps, réduit le nombre moyen d'appels au modèle de 21,57 à 18,77, et les tokens de sortie de 7 374 à 5 499.

Le contexte est organisé de façon asymétrique. Il conserve les trois dernières captures d'écran et quatre réponses complètes, tandis que l'historique plus ancien est condensé en résumés Action d'une ligne. La fenêtre active est de 32K tokens. Les poids en bf16 pèsent environ 9,48 Go, et la licence est Apache-2.0.

Ce que les équipes doivent prendre en compte

Cela concerne surtout ceux qui construisent des assistants d'entreprise. Si votre agent imite par défaut un humain et clique sur chaque élément de l'interface, vous disposez désormais d'un modèle téléchargeable et reproductible pour la comparaison. L'évaluation change aussi : il ne suffit plus de regarder la part de tâches résolues, il faut vérifier à la fois la pertinence du chemin choisi et l'exactitude du fichier final.

Les limites sont tout aussi importantes. Le chiffre de 66,0% est annoncé par l'éditeur lui-même, et le même tableau contient un modèle de 9B plus performant. La baisse du nombre d'appels et de tokens ne garantit pas que l'utilisateur attendra moins : un script court peut s'accompagner d'un lancement d'application lent. Enfin, l'entraînement en cinq étapes a coûté 7,79 ZFLOPs annoncés sur 32 GPU B200. Un petit modèle économise sur l'inférence, mais pas sur le coût d'entraînement. Les poids ouverts et la recette permettent à des équipes indépendantes de reproduire le résultat. Leurs nouvelles exécutions diront si les 66,0% se confirment dans des conditions identiques.