OfficeTown simula 23 organizaciones y entrena a agentes en trabajo de oficina con 406 tareas

Un equipo de investigadores ha presentado OfficeTown, una simulación generativa de organizaciones profesionales que produce tanto las tareas para agentes como el contexto que las rodea. A partir de 23 organizaciones simuladas en ocho áreas profesionales se ha construido el benchmark OfficeTown Bench: 406 tareas y 4 836 criterios de evaluación, ajustados con las opiniones de expertos de cada dominio. Qwen3.5-9B, un modelo pequeño, mostró tras entrenarse con estos datos una mejora notable en pruebas externas, entre ellas GDPval.

Una organización en lugar de un conjunto de prompts

La mayoría de los benchmarks de agentes se parecen: una tarea aislada, unos archivos y una verificación del resultado. El trabajo real de oficina es distinto. Un informe se apoya en decisiones tomadas hace tres semanas, en el correo de un abogado, en las correcciones del jefe a la versión anterior. OfficeTown intenta reproducir precisamente ese entorno acumulado.

La entrada es una descripción en lenguaje natural de la organización: a qué se dedica y qué procesos tiene. A partir de ahí, el framework despliega un equipo. Los empleados coordinan el trabajo, delegan encargos acotados en agentes asistentes y revisan el resultado. Los artefactos, las decisiones y las cuestiones sin resolver se conservan e influyen en las tareas siguientes. Los roles y los permisos determinan qué ve cada participante y qué puede hacer, de modo que el agente trabaja bajo restricciones de acceso reales y no con el conjunto completo de datos.

Los encargos, su contexto y las revisiones se seleccionan después y se convierten en recursos ejecutables para evaluación y entrenamiento. Las tareas son aquí consecuencia del curso de la simulación, no el resultado de un etiquetado manual.

Qué contiene el benchmark

OfficeTown Bench resulta compacto, pero denso en criterios:

• 406 tareas;
• 4 836 criterios de evaluación (según nuestro cálculo, unos 12 por tarea);
• 23 organizaciones simuladas (de media, aproximadamente 18 tareas por cada una);
• ocho áreas profesionales;
• opiniones de expertos de dominio, incorporadas durante la construcción.

La evaluación de modelos frontier mostró que el margen de mejora sigue siendo considerable. El resumen del artículo no incluye puntuaciones concretas, así que solo la formulación de los autores permite juzgar cuán lejos están los líderes del techo. Para un benchmark suele ser buena señal: no está saturado desde el primer día.

Los datos sirven como material de entrenamiento

El resultado más práctico tiene que ver con el entrenamiento. Los autores aplicaron supervised fine-tuning y on-policy distillation con datos de OfficeTown a Qwen3.5-9B. El modelo, de nueve mil millones de parámetros, mejoró de forma notable en benchmarks externos de trabajo profesional, entre ellos GDPval. Es decir, la simulación genera material que se transfiere fuera de su propio conjunto de pruebas. Es el principal argumento frente al temor de que el modelo se limite a aprender el estilo de un entorno sintético concreto.

Por separado se probó la arquitectura de ejecución. El esquema principal–assistant, en el que un agente principal delega encargos acotados en ayudantes y acepta el resultado, obtuvo más puntos que las variantes de un solo agente y multiagente usadas como baseline en la comparación. La salvedad es importante: se trata de los baselines probados, no de todas las posibles configuraciones multiagente. Aun así, una jerarquía con revisión parece un valor por defecto razonable para tareas de oficina.

Qué puede aprovecharse en la práctica

Los equipos que construyen agentes para documentos, informes o analítica deberían adoptar tres ideas. Primero, probar al agente con cadenas de tareas relacionadas y con historial acumulado, no con peticiones aisladas. Segundo, incluir los permisos de acceso en la evaluación: un agente que ve de más o que no ve lo necesario se comporta de forma distinta. Tercero, considerar las organizaciones sintéticas como fuente de ajuste fino para modelos pequeños, si ejecutar un modelo frontier en cada operación resulta demasiado caro.

Las limitaciones también están claras. Las organizaciones son simuladas, no proceden de empresas reales, y la calidad depende del generador. La descripción pública no incluye mejoras numéricas, así que, hasta revisar el artículo completo y el código, es pronto para sacar conclusiones sobre la magnitud del efecto.