OfficeTown simula 23 organizações e treina agentes para o trabalho de escritório com 406 tarefas

Uma equipe de pesquisadores apresentou o OfficeTown, uma simulação generativa de organizações profissionais que produz tanto as tarefas para agentes quanto o contexto em torno delas. A partir de 23 organizações simuladas, em oito áreas profissionais, foi montado o benchmark OfficeTown Bench: 406 tarefas e 4 836 critérios de avaliação, ajustados com base no feedback de especialistas de cada domínio. O pequeno Qwen3.5-9B, depois de treinado com esses dados, apresentou ganho expressivo em testes externos, incluindo o GDPval.

Organização no lugar de um conjunto de prompts

A maioria dos benchmarks de agentes segue o mesmo formato: uma tarefa isolada, arquivos e uma verificação do resultado. O trabalho real de escritório é diferente. Um relatório se apoia em decisões tomadas três semanas antes, no e-mail de um advogado, nas correções do gestor à versão anterior. O OfficeTown tenta reproduzir justamente esse ambiente acumulado.

A entrada é uma descrição da organização em linguagem natural: o que ela faz e quais são seus processos. A partir daí, o framework monta a equipe. Os funcionários coordenam o trabalho, delegam atribuições limitadas a agentes assistentes e revisam o resultado. Artefatos, decisões e questões em aberto são preservados e influenciam as tarefas seguintes. Papéis e permissões definem o que cada participante vê e o que pode fazer. Assim, o agente trabalha sob restrições reais de acesso, e não com o conjunto completo de dados.

As atribuições, seu contexto e as revisões são depois selecionados e convertidos em recursos executáveis para avaliação e treinamento. Aqui, as tarefas são consequência do andamento da simulação, e não resultado de anotação manual.

O que há dentro do benchmark

O OfficeTown Bench ficou compacto, mas denso em critérios:

• 406 tarefas;
• 4 836 critérios de avaliação (pelas nossas contas, cerca de 12 por tarefa);
• 23 organizações simuladas (em média, cerca de 18 tarefas por organização);
• oito áreas profissionais;
• feedback de especialistas de cada domínio, incorporado na montagem.

A avaliação de modelos frontier mostrou que a margem para melhorias continua grande. O resumo do artigo não traz pontuações específicas, então só é possível julgar a distância entre os líderes e o teto do benchmark pela formulação dos próprios autores. Para um benchmark, isso costuma ser um bom sinal: ele não está saturado desde o primeiro dia.

Os dados funcionam como material de treinamento

O resultado mais prático diz respeito ao treinamento. Os autores aplicaram supervised fine-tuning e on-policy distillation com os dados do OfficeTown ao Qwen3.5-9B. O modelo, de nove bilhões de parâmetros, melhorou de forma expressiva em benchmarks externos de trabalho profissional, entre eles o GDPval. Ou seja, a simulação gera material que se transfere para além do próprio conjunto de testes. Esse é o principal argumento contra a preocupação de que o modelo apenas aprenda o estilo de um ambiente sintético específico.

Os autores também avaliaram separadamente a arquitetura de execução. O esquema principal–assistente, em que o agente principal delega atribuições limitadas a auxiliares e aprova o resultado, obteve pontuação maior que as configurações de referência com agente único e com múltiplos agentes usadas na comparação. A ressalva é importante: trata-se dos baselines testados, e não de todas as arquiteturas multiagente possíveis. Ainda assim, uma hierarquia com revisão parece um padrão sensato para tarefas de escritório.

O que dá para aproveitar na prática

Equipes que constroem agentes para documentos, relatórios ou análise de dados devem adotar três práticas. Primeiro, testar o agente em cadeias de tarefas relacionadas, com histórico acumulado, e não em pedidos isolados. Segundo, incluir permissões de acesso na avaliação: um agente que vê demais ou não vê o necessário se comporta de maneira diferente. Terceiro, considerar organizações sintéticas como fonte de fine-tuning para modelos pequenos, caso rodar um modelo frontier a cada operação seja caro demais.

As limitações também são claras. As organizações são simuladas, não extraídas de empresas reais, e a qualidade depende do gerador. A descrição pública não traz ganhos numéricos, então ainda é cedo para tirar conclusões sobre a escala do efeito antes de conferir o artigo completo e o código.