WorkFactory: 112 000 tareas de oficina elevaron a Qwen de 879 a 1565 Elo

Un grupo de investigadores de la Universidad Renmin de China, el Instituto de Tecnología Avanzada de Shenzhen (SIAT) y la Universidad Jiao Tong de Shanghái ha construido una fábrica de tareas de entrenamiento para agentes de IA que realizan trabajo de oficina. Reunieron 112 686 tareas para 612 profesiones, las pasaron por un modelo profesor potente y ajustaron Qwen con sus registros. El mejor resultado: la versión de 35 mil millones de parámetros (3 mil millones de ellos activos) subió en la prueba GDPval-AA v2.

1 de 879 a 1565 Elo. GDPval-AA es un conjunto de encargos laborales reales de distintas profesiones. Los modelos los ejecutan, los documentos resultantes se comparan por pares y, a partir de las victorias y derrotas, se calcula el rating Elo, como en el ajedrez.

Por qué una mala tarea estropea el entrenamiento

La forma más habitual de enseñar a un agente a trabajar es mostrarle resoluciones exitosas. Un modelo potente resuelve la tarea, se registran sus acciones y con esos registros se entrena un modelo más pequeño. Por tanto, la calidad del entrenamiento depende de la calidad de las propias tareas.

Un ejemplo del artículo: un agente debe elegir proveedor. Las previsiones de demanda están en un archivo y las tarifas de los vendedores en otro. Pero en ninguna parte consta si el precio de uno de los proveedores incluye el envío. Sin ese dato no se puede comparar con honestidad el coste total. El profesor o bien se inventará una suposición o bien abandonará el trabajo a medias. En ambos casos, el registro enseña mal.

No se puede arreglar de forma directa: si se escriben en la tarea los cálculos ya hechos, no queda nada que aprender. Hace falta un límite: todas las condiciones de partida deben estar presentes, y los cálculos y las conclusiones quedan en manos del agente.

Cómo funciona la fábrica

Primero se reúnen las ideas de futuras tareas a partir de tres fuentes:

• descripciones de profesiones y situaciones laborales; • documentación de habilidades, de la que se componen cadenas de operaciones; • documentos de trabajo reales, a partir de los cuales se reconstruye qué tarea podría haber planteado un cliente.

Otro modelo descarta las ideas ilógicas o que no se parecen a un trabajo real. Después, para cada idea se construye un grafo de apoyo informativo. El planificador va del resultado hacia atrás: qué cálculos y juicios hacen falta para el documento final y qué datos necesita cada uno. A cada porción de datos se le asigna un lugar: el texto de la solicitud, un archivo de referencia, una fuente externa o el resultado futuro. Todo lo que el agente debe calcular por sí mismo permanece oculto.

A partir del grafo se crean los archivos. Comprobaciones automáticas y de otro modelo verifican si el resultado coincide con el plan. Las tareas que no lo superan tras varios intentos se descartan.

Prueba de ejecución y reparación

Incluso después de esto quedan huecos en los archivos. Por eso un agente de prueba intenta resolver la tarea viendo solo la solicitud y los archivos, sin el grafo ni el plan. El agente informa de los obstáculos y los distingue de sus propios errores y de las opciones legítimas de elección. Solo se corrige lo que bloquea la ejecución.

El modelo corrector modifica la solicitud y los archivos, pero no cambia su número, tipos ni estructura. En el ejemplo de los proveedores, añade la condición que faltaba: el envío del proveedor C cuesta 0,15 dólares por caja. No hace el cálculo por el agente. La corrección se vuelve a comprobar: se verifica si se conserva el sentido del trabajo original. Si no, la tarea se descarta. Si sí, se lanza una nueva ejecución de prueba. El ciclo termina cuando no quedan bloqueos o se agota el límite de intentos.

Las tareas aprobadas pasan a un profesor independiente, GLM-5.3, que tampoco ve el grafo ni el plan. Sus registros se filtran para eliminar razonamientos repetitivos, llamadas a herramientas en bucle y resultados vacíos. Para el 5% de las resoluciones más largas, además, se comparan los documentos por pares y se conservan los mejores.

Qué mostraron los experimentos

• Se entrenaron tres modelos de la familia WorkPilot basados en Qwen: 4B, 27B y 35B-A3B. Los tres superaron a las versiones base en cuatro pruebas de trabajo profesional. • WorkPilot-35B-A3B subió en GDPval-AA v2.

1 de 879 a 1565 Elo. • WorkPilot-27B, según la evaluación local de los autores, alcanzó 1612 Elo. Está dentro del rango de los modelos de frontera con los que se compara.

Los autores obtuvieron esta estimación por sí mismos y todavía no hay verificación independiente. • La mejora al aumentar los datos (hasta 110 mil tareas) se ralentiza, y lo hace de forma distinta según el modelo. La longitud de la resolución primero crece y luego se reduce.

• En comparaciones controladas, tanto la planificación como la reparación redujeron el número de defectos en las tareas detectados por el agente de prueba y mejoraron la calidad final.

Qué aporta en la práctica

Para los equipos que entrenan agentes, la conclusión es sencilla: el volumen de tareas no garantiza la calidad, y hay que comprobar que la tarea realmente se pueda resolver con los materiales entregados. La ejecución de prueba en un entorno aislado funciona aquí como un test previo al lanzamiento. Para las empresas, es un paso hacia modelos pequeños que realizan tareas de oficina a un nivel comparable al de modelos mucho mayores.

Los autores han publicado en GitHub (IQuestLab/WorkFactory) una parte de las tareas, los datos y los pesos. Una salvedad: la evaluación de la calidad se apoya en gran medida en pruebas de los propios autores y en la comparación de documentos por modelos jueces, de modo que la verificación decisiva será la que se haga con tareas ajenas.