OfficeTown simule 23 organisations et entraîne des agents au travail de bureau sur 406 tâches

Une équipe de chercheurs présente OfficeTown, une simulation générative d'organisations professionnelles qui produit à la fois les tâches destinées aux agents et le contexte qui les entoure. À partir de 23 organisations simulées, réparties dans huit domaines professionnels, elle a constitué le benchmark OfficeTown Bench : 406 tâches et 4 836 critères d'évaluation, ajustés d'après les retours d'experts du domaine. Entraîné sur ces données, le petit modèle Qwen3.5-9B progresse nettement sur des tests externes, dont GDPval.

Une organisation plutôt qu'un jeu de prompts

La plupart des benchmarks d'agents reposent sur le même schéma : une tâche isolée, des fichiers et une vérification du résultat. Le travail de bureau réel est tout autre. Un rapport s'appuie sur des décisions prises trois semaines plus tôt, sur le courrier d'un juriste, sur les corrections d'un responsable à la version précédente. OfficeTown cherche précisément à reproduire cet environnement cumulatif.

Le système reçoit en entrée une description de l'organisation en langage naturel : son activité et ses processus. Le framework déploie ensuite un collectif de travail. Les employés coordonnent le travail, délèguent des missions circonscrites à des agents assistants et vérifient le résultat. Les artefacts, les décisions et les questions en suspens sont conservés et influencent les tâches suivantes. Les rôles et les autorisations déterminent ce que chaque participant voit et ce qu'il est en droit de faire : l'agent travaille donc sous de vraies contraintes d'accès, et non avec l'ensemble des données à disposition.

Les missions, leur contexte et les relectures sont ensuite sélectionnés et transformés en ressources exécutables pour l'évaluation et l'entraînement. Les tâches découlent ici du déroulement de la simulation, et non d'un étiquetage manuel.

Ce que contient le benchmark

OfficeTown Bench est compact, mais dense en critères :

• 406 tâches ;
• 4 836 critères d'évaluation (d'après notre estimation, environ 12 par tâche) ;
• 23 organisations simulées (en moyenne environ 18 tâches chacune) ;
• huit domaines professionnels ;
• les retours d'experts du domaine, pris en compte lors de la construction.

L'évaluation de modèles frontier montre que la marge d'amélioration reste importante. L'abstract ne donne aucun score précis : on ne peut donc juger de la distance entre les leaders et le plafond qu'à partir de la formulation des auteurs. C'est généralement bon signe pour un benchmark, qui n'est pas saturé dès le premier jour.

Les données servent aussi de matériel d'entraînement

Le résultat le plus concret concerne l'entraînement. Les auteurs ont appliqué à Qwen3.5-9B du supervised fine-tuning et de la on-policy distillation sur les données d'OfficeTown. Ce modèle de neuf milliards de paramètres progresse nettement sur des benchmarks externes de travail professionnel, parmi lesquels GDPval. Autrement dit, la simulation génère un matériau qui se transfère au-delà de son propre jeu de test. C'est le principal argument contre la crainte que le modèle n'apprenne que le style d'un environnement synthétique donné.

Les auteurs ont aussi testé séparément l'architecture d'exécution. Le schéma principal–assistant, où un agent principal délègue des missions circonscrites à des assistants et valide leur résultat, a obtenu plus de points que les configurations de référence à agent unique et multi-agents retenues pour la comparaison. La réserve est importante : il s'agit des baselines testées, et non de toutes les architectures multi-agents possibles. Mais une hiérarchie avec relecture semble un choix par défaut raisonnable pour les tâches de bureau.

Ce qu'on peut en retenir en pratique

Les équipes qui construisent des agents pour les documents, le reporting ou l'analytique ont intérêt à retenir trois points. Premièrement, tester l'agent sur des chaînes de tâches liées, avec un historique cumulé, et non sur des requêtes isolées. Deuxièmement, intégrer les droits d'accès à l'évaluation : un agent qui voit trop, ou qui ne voit pas ce qu'il faut, se comporte différemment. Troisièmement, envisager les organisations synthétiques comme source de fine-tuning pour de petits modèles, lorsque l'exécution d'un modèle frontier à chaque opération coûte trop cher.

Les limites sont, elles aussi, claires. Les organisations sont simulées et non issues d'entreprises réelles, et la qualité dépend du générateur. La description publique ne fournit aucun gain chiffré : tant que l'article complet et le code n'ont pas été examinés, il est trop tôt pour conclure sur l'ampleur de l'effet.