Microsoft выпустила 4B-модель Mage-VL-Cowork с 66,0% решённых задач OSWorld-Verified

Microsoft опубликовала на Hugging Face Mage-VL-Cowork — открытую модель на 4 млрд параметров для desktop-агентов (CUA, когда ИИ сам работает за компьютером). На бенчмарке OSWorld-Verified, где агенты решают задачи в реальных операционных системах, она справилась с 66,0% из 361 отложенной задачи при бюджете 50 шагов. До сих пор в этой области сосуществовали два подхода: один агент видит только скриншоты и кликает мышью, другой пишет код и напрямую правит файлы. Microsoft соединила оба в одной компактной модели, и она сама выбирает, каким путём идти на каждом шаге.

Два канала действий внутри одной политики

Внешнего маршрутизатора в системе нет. Модель сама определяет, какой инструмент нужен сейчас. Для визуального макета, правки на холсте и работы с живым состоянием приложения она использует канал computer_use: 11 GUI-примитивов и нормализованные координаты. Для структурированных правок в таблицах и документах, а также для проверки результата после работы она переходит в bash — постоянный shell с окружением Python.

Логика понятна. Менять xlsx через десятки кликов по меню дольше и хрупче, чем записать файл через openpyxl. Зато визуальный эффект на картинке скриптом не поправить.

Оценка 66,0% на OSWorld-Verified усреднена по двум полным прогонам на 361 отложенной задаче. В той же таблице Qwen3.6-27B набрал 63,9%, а Muse Glimmer-30B — 65,9%. При этом ScaleCUA-Qwen3.5-9B показал 68,7%, то есть выше. Поэтому говорить о победе маленькой модели над всеми конкурентами нельзя.

Как Microsoft собирала обучающие данные

Первое наблюдение касается учителя. Сильная модель с избыточным набором инструментов приобретает плохие привычки, и они передаются ученику при дистилляции. Microsoft убрала дублирующие каналы вроде xdotool и громоздких деревьев доступности и заранее поставила нужные Python-библиотеки. В результате учитель GPT-5.4 вырос до 92,0% при на 29,2% меньшем числе шагов. Ученик, обученный на таких траекториях, получил 37,6% против 25,1%, то есть плюс 12,5 процентного пункта.

Второе — генерация задач. Конвейер Mage-CUA-Forge один раз пишет генерирующий workflow для каждого атомарного навыка, а не запускает для каждой задачи открытый цикл агента. Получилось 293 806 задач по 6 915 навыкам. Стоимость одной задачи упала с 0,906 до 0,158 доллара, то есть на 82,6%.

Третье — пять этапов обучения. Сначала отдельно учат визуальную привязку к элементам (grounding), GUI-исполнение и работу с терминалом, затем Hybrid SFT учит переключаться между каналами. Последний этап — онлайн-GRPO с наградой за проверяемый результат задачи. Качество растёт с 45,56% до 55,84% и затем до 66,0%. Онлайн-RL добавил 10,16 процентного пункта и одновременно снизил среднее число вызовов модели с 21,57 до 18,77, а выходные токены — с 7 374 до 5 499.

Контекст организован асимметрично. В нём остаются три последних скриншота и четыре полных ответа, а более ранняя история сжимается до однострочных Action-сводок. Активное окно — 32K токенов. Веса в bf16 занимают около 9,48 ГБ, лицензия — Apache-2.0.

Что стоит учитывать командам

Сильнее всего это касается тех, кто строит корпоративных ассистентов. Если ваш агент по умолчанию имитирует человека и кликает по каждому элементу интерфейса, теперь у вас есть скачиваемая и воспроизводимая модель для сравнения. Вместе с этим меняется оценка: мало смотреть на долю решённых задач, нужно проверять и разумность выбранного пути, и правильность итогового файла.

Ограничения тоже существенны. Цифра 66,0% заявлена самим вендором, а в той же таблице есть более сильная 9B-модель. Снижение числа вызовов и токенов не гарантирует, что пользователь станет ждать меньше: короткий скрипт может сочетаться с медленным запуском приложения. Наконец, пятиэтапное обучение обошлось в заявленные 7,79 ZFLOPs на 32 GPU B200. Малая модель экономит на инференсе, но не на затратах обучения. Открытые веса и рецепт позволяют независимым командам повторить результат, а подтвердится ли 66,0% в одинаковых условиях, покажут их перезапуски.