WorkFactory : 112 000 tâches de bureau font passer Qwen de 879 à 1565 Elo

Une équipe de chercheurs de l'Université Renmin de Chine, de l'Institut des technologies avancées de Shenzhen (SIAT) et de l'Université Jiao-tong de Shanghai a bâti une usine de tâches d'entraînement pour des agents IA qui effectuent du travail de bureau. Les chercheurs ont rassemblé 112 686 tâches pour 612 métiers, les ont fait exécuter par un modèle enseignant performant, puis ont affiné Qwen sur les traces de ce dernier. Meilleur résultat : la version de 35 milliards de paramètres (dont 3 milliards actifs) voit son score Elo passer de 879 à 1565 sur GDPval-AA v2.

1. GDPval-AA est un ensemble de tâches professionnelles réelles issues de différents métiers. Les modèles les exécutent, leurs documents finaux sont comparés deux à deux, et le classement Elo se calcule à partir des victoires et des défaites, comme aux échecs.

Pourquoi une mauvaise tâche dégrade l'entraînement

La méthode la plus répandue pour apprendre à un agent à travailler consiste à lui montrer des exécutions réussies. Un modèle puissant résout la tâche, ses actions sont enregistrées, et ces enregistrements servent à entraîner un modèle plus petit. La qualité de l'entraînement dépend donc directement de la qualité des tâches elles-mêmes.

Exemple tiré de l'article : un agent doit choisir un fournisseur. Les prévisions de demande figurent dans un fichier, les tarifs des vendeurs dans un autre. Mais nulle part il n'est précisé si la livraison est incluse dans le prix de l'un des fournisseurs. Sans cette information, impossible de comparer honnêtement le coût total. Le modèle enseignant va soit inventer une hypothèse, soit abandonner en cours de route. Dans les deux cas, l'enregistrement est de mauvaise qualité pour l'apprentissage.

On ne peut pas corriger cela de façon frontale : si l'on se contente d'inscrire dans la tâche des calculs tout faits, il n'y a plus rien à apprendre. Il faut tracer une limite : toutes les conditions initiales sont présentes, mais les calculs et les conclusions restent à la charge de l'agent.

Comment fonctionne l'usine

On commence par collecter des concepts de futures tâches à partir de trois sources :

• des descriptions de métiers et de situations de travail ; • la documentation de compétences, dont on tire des enchaînements d'opérations ; • de vrais documents de travail, à partir desquels on reconstitue la tâche qu'un client aurait pu poser.

Un autre modèle écarte les concepts illogiques ou éloignés du travail réel. Pour chaque concept retenu, on construit ensuite un graphe de support informationnel. Un planificateur remonte du résultat vers l'amont : quels calculs et quels jugements sont nécessaires pour le document final, et de quelles données chacun a besoin. Chaque bloc de données se voit attribuer un emplacement : dans le texte de la demande, dans un fichier de référence, dans une source externe ou dans le futur résultat. Tout ce que l'agent doit calculer lui-même reste caché.

Les fichiers sont générés à partir du graphe. Des contrôles automatiques et des vérifications par un autre modèle examinent si le résultat correspond au plan. Les tâches qui échouent après plusieurs tentatives sont écartées.

Essai à blanc et réparation

Même après cela, il reste des trous dans les fichiers. Un agent d'essai tente donc de résoudre la tâche en ne voyant que la demande et les fichiers, sans le graphe ni le plan. Il signale les obstacles et les distingue de ses propres erreurs et des choix légitimes. Seul ce qui bloque l'exécution est corrigé.

Le modèle correcteur modifie la demande et les fichiers, sans changer leur nombre, leurs types ni leur structure. Dans l'exemple des fournisseurs, il ajoute la condition manquante : la livraison du fournisseur C coûte 0,15 dollar par boîte. Il ne fait pas le calcul à la place de l'agent. La correction est ensuite revérifiée : le sens du travail initial est-il préservé ? Si ce n'est pas le cas, la tâche est écartée. Sinon, un nouvel essai est lancé. La boucle s'arrête quand il n'y a plus de point bloquant ou quand la limite de tentatives est atteinte.

Les tâches validées sont confiées à un modèle enseignant indépendant, GLM-5.3, qui ne voit lui non plus ni le graphe ni le plan. Ses enregistrements sont filtrés pour éliminer les raisonnements répétitifs, les appels d'outils en boucle et les résultats vides. Pour les 5% d'exécutions les plus longues, les documents sont en outre comparés deux à deux et seuls les meilleurs sont conservés.

Ce que montrent les expériences

• Trois modèles de la famille WorkPilot, basés sur Qwen, ont été entraînés : 4B, 27B et 35B-A3B. Tous trois dépassent leurs versions de base sur quatre tests de travail professionnel. • WorkPilot-35B-A3B passe de 879 à 1565 Elo sur GDPval-AA v2.

1. • WorkPilot-27B atteint 1612 Elo selon l'évaluation locale des auteurs. Cela se situe dans la fourchette des modèles de pointe comparés.

Cette évaluation vient des auteurs eux-mêmes, et aucune vérification indépendante n'existe pour l'instant. • Le gain apporté par l'augmentation des données (jusqu'à 110 000 tâches) ralentit, et ce de façon différente selon les modèles. La longueur des exécutions commence par croître, puis diminue.

• Dans les comparaisons contrôlées, la planification comme la réparation réduisent le nombre de défauts détectés par l'agent d'essai dans les tâches et améliorent la qualité finale.

Ce que cela change en pratique

Pour les équipes qui entraînent des agents, la conclusion est simple : le volume de tâches ne garantit pas la qualité, et il faut vérifier que la tâche est bien résoluble avec les éléments fournis. L'essai dans un environnement isolé joue ici le rôle d'un test avant mise en production. Pour les entreprises, c'est un pas vers des petits modèles qui accomplissent des tâches de bureau au niveau de modèles bien plus gros.

Les auteurs ont publié sur GitHub (IQuestLab/WorkFactory) une partie des tâches, ainsi que les données et les poids. Réserve : l'évaluation de la qualité repose largement sur les tests des auteurs eux-mêmes et sur la comparaison de documents par des modèles juges, si bien qu'une vérification sur des tâches tierces sera décisive.