WorkFactory: 112 тысяч офисных задач подняли Qwen с 879 до 1565 Elo

Группа исследователей из Китайского народного университета, Шэньчжэньского института передовых технологий (SIAT) и Шанхайского университета Цзяотун построила фабрику учебных задач для ИИ-агентов, которые выполняют офисную работу. Они собрали 112 686 задач для 612 профессий, прогнали их через сильную модель-учителя и на её записях дообучили Qwen. Лучший результат: рейтинг версии с 35 млрд параметров (из них активны 3 млрд) в тесте GDPval-AA v2.1 вырос с 879 до 1565 Elo. GDPval-AA — набор реальных рабочих заданий из разных профессий. Модели выполняют их, готовые документы сравнивают попарно, а из побед и поражений считают рейтинг Elo, как в шахматах.

Почему плохая задача портит обучение

Самый распространённый способ научить агента работать — показать ему удачные прохождения задач. Сильная модель решает задачу, её действия записывают, на записях учат модель поменьше. Выходит, что качество обучения упирается в качество самих задач.

Пример из статьи: агент выбирает поставщика. Прогнозы спроса лежат в одном файле, расценки вендоров в другом. Но нигде не сказано, входит ли доставка в цену одного из поставщиков. Без этого нельзя честно сравнить полную стоимость. Учитель либо выдумает допущение, либо бросит работу на полпути. В обоих случаях запись плохо учит.

Исправить это в лоб нельзя: если просто вписать в задачу готовые расчёты, учить будет нечему. Нужна граница: все исходные условия на месте, а вычисления и выводы остаются агенту.

Как устроена фабрика

Сначала собирают замыслы будущих задач из трёх источников:

• описания профессий и рабочих ситуаций; • документация навыков, из которой складывают цепочки операций; • настоящие рабочие документы: по ним восстанавливают, какую задачу мог ставить заказчик.

Другая модель отсеивает замыслы, которые нелогичны или не похожи на реальную работу. Затем для каждого замысла строят граф информационной поддержки. Планировщик идёт от результата назад: какие расчёты и суждения нужны для итогового документа, какие данные нужны каждому из них. Каждой порции данных назначают место: в тексте запроса, в справочном файле, во внешнем источнике или в будущем результате. Всё, что агент должен вычислить сам, остаётся скрытым.

По графу создаются файлы. Автоматические проверки и проверки другой модели смотрят, совпадает ли результат с планом. Задачи, не прошедшие после нескольких попыток, выбрасывают.

Пробный прогон и ремонт

Даже после этого в файлах остаются дыры. Поэтому пробный агент пытается решить задачу, видя только запрос и файлы, без графа и плана. Он сообщает о препятствиях и отделяет их от собственных ошибок и от законных вариантов выбора. Чинят только то, что блокирует выполнение.

Исправляющая модель правит запрос и файлы, но не меняет их число, типы и структуру. В примере с поставщиками она добавляет недостающее условие: доставка поставщика C стоит 0,15 доллара за коробку. Расчёт за агента она не делает. Правку проверяют ещё раз: сохранился ли смысл исходной работы. Если нет, задачу выбрасывают. Если да, запускают новый пробный прогон. Цикл заканчивается, когда блокеров нет или исчерпан лимит попыток.

Прошедшие задачи получает независимый учитель, GLM-5.3, и тоже не видит ни графа, ни плана. Его записи фильтруют от повторяющихся рассуждений, зацикленных вызовов инструментов и пустых результатов. Для 5% самых длинных прохождений дополнительно сравнивают документы попарно и оставляют лучшие.

Что показали эксперименты

• Обучены три модели семейства WorkPilot на базе Qwen: 4B, 27B и 35B-A3B. Все три превзошли базовые версии на четырёх тестах профессиональной работы. • WorkPilot-35B-A3B на GDPval-AA v2.1 выросла с 879 до 1565 Elo. • WorkPilot-27B, по локальной оценке авторов, достигла 1612 Elo. Это в диапазоне сравниваемых передовых моделей. Оценку авторы получили сами, независимой проверки пока нет. • Рост от увеличения данных (до 110 тысяч задач) замедляется, причём по-разному для разных моделей. Длина прохождения сначала растёт, потом сокращается. • В контролируемых сравнениях и планирование, и ремонт уменьшали число дефектов в задачах, найденных пробным агентом, и улучшали итоговое качество.

Что это даёт на практике

Для команд, которые обучают агентов, вывод простой: объём задач ещё не гарантирует качества, нужно проверять, что задачу вообще можно решить по выданным материалам. Пробный запуск в изолированной среде здесь работает как тест перед выпуском. Для бизнеса это шаг к небольшим моделям, которые выполняют офисные задачи на уровне гораздо более крупных. Часть задач, данные и веса авторы выложили на GitHub (IQuestLab/WorkFactory). Оговорка: оценку качества во многом дают тесты самих авторов и сравнение документов моделями-судьями, так что решающей станет проверка на чужих задачах.