OfficeTown симулирует 23 организации и учит агентов офисной работе на 406 задачах

Команда исследователей представила OfficeTown — генеративную симуляцию профессиональных организаций, которая производит и задачи для агентов, и контекст вокруг них. Из 23 смоделированных организаций в восьми профессиональных областях собран бенчмарк OfficeTown Bench: 406 задач и 4 836 критериев оценки, с поправкой на отзывы доменных экспертов. Маленькая модель Qwen3.5-9B после обучения на этих данных показала заметный рост на внешних тестах, включая GDPval.

Организация вместо набора промптов

Большинство агентных бенчмарков устроены одинаково: есть изолированная задача, файлы и проверка результата. Реальная офисная работа выглядит иначе. Отчёт опирается на решения, принятые три недели назад, на письмо юриста, на правки руководителя к прошлой версии. OfficeTown пытается воспроизвести именно эту накопленную среду.

На вход подаётся описание организации на естественном языке: чем она занимается и какие у неё процессы. Дальше фреймворк разворачивает коллектив. Сотрудники координируют работу, делегируют ограниченные поручения агентам-ассистентам и проверяют результат. Артефакты, решения и нерешённые вопросы сохраняются и влияют на следующие задачи. Роли и разрешения определяют, что каждый участник видит и что вправе делать, так что агент работает в условиях реальных ограничений доступа, а не с полным набором данных.

Поручения, их контекст и рецензии потом отбираются и превращаются в исполняемые ресурсы для оценки и обучения. Задачи здесь следствие хода симуляции, а не результат ручной разметки.

Что внутри бенчмарка

OfficeTown Bench получился компактным, но плотным по критериям:

• 406 задач;
• 4 836 критериев оценки (по нашей прикидке, около 12 на задачу);
• 23 симулированные организации (в среднем примерно по 18 задач на каждую);
• восемь профессиональных областей;
• обратная связь доменных экспертов, учтённая при сборке.

Оценка frontier-моделей показала, что запас для улучшений остаётся значительным. Конкретных баллов в аннотации нет, поэтому судить о том, насколько далеко лидеры от потолка, можно только по самой формулировке авторов. Для бенчмарка это обычно хороший признак: он не насыщен с первого дня.

Данные работают как обучающий материал

Самый практичный результат касается обучения. Авторы применили supervised fine-tuning и on-policy distillation на данных OfficeTown к Qwen3.5-9B. Модель с девятью миллиардами параметров заметно выросла на внешних бенчмарках профессиональной работы, среди которых GDPval. То есть симуляция генерирует материал, который переносится за пределы собственного тестового набора. Это главный аргумент против опасения, что модель просто выучит стиль конкретной синтетической среды.

Отдельно проверили архитектуру исполнения. Схема principal–assistant, где основной агент делегирует ограниченные поручения помощникам и принимает результат, набрала больше баллов, чем одноагентный и мультиагентные базовые варианты, использованные в сравнении. Оговорка важная: речь о протестированных baseline-ах, а не обо всех возможных мультиагентных конструкциях. Но иерархия с ревью выглядит осмысленным дефолтом для офисных задач.

Что из этого можно взять в работу

Командам, которые строят агентов для документов, отчётности или аналитики, стоит перенять три вещи. Во-первых, тестировать агента на цепочках связанных заданий с накопленной историей, а не на одиночных запросах. Во-вторых, закладывать в оценку права доступа: агент, который видит лишнее или не видит нужного, ведёт себя по-разному. В-третьих, рассмотреть синтетические организации как источник дообучения для небольших моделей, если запуск frontier-модели на каждую операцию слишком дорог.

Ограничения тоже понятны. Организации смоделированы, а не взяты из живых компаний, и качество зависит от генератора. Численных приростов в публичном описании нет, так что до проверки полной статьи и кода выводы о масштабе эффекта делать рано.