WorkFactory: 112 mil tarefas de escritório elevaram o Qwen de 879 para 1565 Elo

Um grupo de pesquisadores da Universidade Renmin da China, do Instituto de Tecnologia Avançada de Shenzhen (SIAT) e da Universidade Jiao Tong de Xangai montou uma fábrica de tarefas de treinamento para agentes de IA que executam trabalho de escritório. Eles reuniram 112 686 tarefas para 612 profissões, passaram todas por um modelo professor forte e usaram os registros dele para fazer o fine-tuning do Qwen. O melhor resultado: o rating da versão com 35 bilhões de parâmetros (3 bilhões ativos) no teste GDPval-AA v2.

1 subiu de 879 para 1565 Elo. O GDPval-AA é um conjunto de tarefas reais de trabalho de diversas profissões. Os modelos as executam, os documentos prontos são comparados em pares e o rating Elo é calculado a partir de vitórias e derrotas, como no xadrez.

Por que uma tarefa ruim estraga o treinamento

O método mais comum para ensinar um agente a trabalhar é mostrar a ele execuções bem-sucedidas de tarefas. Um modelo forte resolve a tarefa, suas ações são registradas e esses registros treinam um modelo menor. Com isso, a qualidade do treinamento fica limitada pela qualidade das próprias tarefas.

Um exemplo do artigo: o agente precisa escolher um fornecedor. As previsões de demanda estão em um arquivo e as tabelas de preços dos vendors em outro. Mas em lugar nenhum consta se o frete está incluído no preço de um dos fornecedores. Sem essa informação, não é possível comparar o custo total de forma honesta. O professor ou inventa uma premissa ou abandona o trabalho no meio do caminho. Nos dois casos, o registro ensina mal.

Não dá para resolver isso de forma direta: se os cálculos prontos forem simplesmente escritos na tarefa, não sobra nada para aprender. É preciso traçar um limite: todas as condições de partida ficam à disposição, e os cálculos e as conclusões continuam com o agente.

Como funciona a fábrica

Primeiro, são reunidas ideias de futuras tarefas a partir de três fontes:

• descrições de profissões e de situações de trabalho; • documentação de habilidades, da qual se montam cadeias de operações; • documentos de trabalho reais, usados para reconstruir qual tarefa o cliente poderia ter proposto.

Outro modelo descarta as ideias que são ilógicas ou que não se parecem com trabalho real. Depois, para cada ideia, é construído um grafo de suporte de informações. O planejador parte do resultado e vai para trás: quais cálculos e julgamentos são necessários para o documento final e quais dados cada um deles exige. Cada porção de dados recebe um lugar: no texto do pedido, em um arquivo de referência, em uma fonte externa ou no resultado futuro. Tudo o que o agente precisa calcular por conta própria permanece oculto.

Os arquivos são gerados a partir do grafo. Verificações automáticas e verificações feitas por outro modelo conferem se o resultado coincide com o plano. As tarefas que não passam depois de várias tentativas são descartadas.

Execução de teste e reparo

Mesmo assim, ainda ficam lacunas nos arquivos. Por isso, um agente de teste tenta resolver a tarefa vendo apenas o pedido e os arquivos, sem o grafo e sem o plano. Ele relata os obstáculos e os separa dos próprios erros e das escolhas legítimas. Só é corrigido o que bloqueia a execução.

O modelo corretor ajusta o pedido e os arquivos, mas não altera o número, os tipos nem a estrutura deles. No exemplo dos fornecedores, ele acrescenta a condição que faltava: o frete do fornecedor C custa 0,15 dólar por caixa. Ele não faz o cálculo pelo agente. A correção é verificada mais uma vez para confirmar se o sentido do trabalho original foi preservado. Se não foi, a tarefa é descartada. Se foi, começa uma nova execução de teste. O ciclo termina quando não há mais bloqueios ou quando o limite de tentativas se esgota.

As tarefas aprovadas vão para um professor independente, o GLM-5.3, que também não vê o grafo nem o plano. Seus registros são filtrados para remover raciocínios repetitivos, chamadas de ferramentas em loop e resultados vazios. Para os 5% de execuções mais longas, os documentos também são comparados em pares, e só os melhores são mantidos.

O que os experimentos mostraram

• Foram treinados três modelos da família WorkPilot, baseados no Qwen: 4B, 27B e 35B-A3B. Os três superaram as versões base em quatro testes de trabalho profissional. • O WorkPilot-35B-A3B subiu de 879 para 1565 Elo no GDPval-AA v2.

1. • O WorkPilot-27B, segundo a avaliação local dos autores, chegou a 1612 Elo. Isso está dentro da faixa dos modelos de ponta usados na comparação.

A avaliação foi feita pelos próprios autores e ainda não há verificação independente. • O ganho com o aumento dos dados (até 110 mil tarefas) desacelera, e de forma diferente conforme o modelo. O tamanho das execuções primeiro cresce e depois diminui.

• Em comparações controladas, tanto o planejamento quanto o reparo reduziram o número de defeitos nas tarefas encontrados pelo agente de teste e melhoraram a qualidade final.

O que isso significa na prática

Para as equipes que treinam agentes, a conclusão é simples: volume de tarefas não garante qualidade, e é preciso verificar se a tarefa é de fato resolvível com os materiais fornecidos. A execução de teste em ambiente isolado funciona aqui como um teste antes do lançamento. Para as empresas, é um passo rumo a modelos pequenos que executam tarefas de escritório no nível de modelos muito maiores. Os autores publicaram parte das tarefas, os dados e os pesos no GitHub (IQuestLab/WorkFactory). Ressalva: a avaliação de qualidade se apoia em grande parte nos testes dos próprios autores e na comparação de documentos feita por modelos-juízes, então o que vai pesar é a verificação em tarefas de terceiros.