Kolab : 115 heures d'enregistrements montrent que les agents IA ne comprennent pas leurs collègues humains

Des chercheurs de Minnesota NLP ont publié Kolab, un jeu de données et un benchmark pour évaluer la manière dont les agents IA travaillent aux côtés des humains, et non à leur place. Le corpus repose sur plus de 115 heures d'enregistrements d'écran : 50 professionnels issus de 40 spécialités ont résolu avec des agents des tâches réalistes à long horizon. Leur principal constat dérange l'industrie. Les modèles de pointe, agentiques comme non agentiques, surestiment la qualité de la collaboration et distinguent mal une bonne collaboration d'une mauvaise.

Que devient la réponse de l'agent après le chat ?

La plupart des benchmarks d'agents populaires mesurent l'automatisation : l'agent a-t-il mené la tâche à bien en une seule passe ? Les auteurs de Kolab, parmi lesquels Sherly Anugrah Hayati, Patricia Anugrah Setiani, Ruijie Wang, Zhouyi Li, Han Chi Le, Yong-Jun Lee et Dongyeop Kang, partent d'un autre constat. Sur les tâches longues, les gens accordent plus de valeur à une interaction continue avec l'agent, par exemple la révision d'un plan, qu'à sa capacité à aller au bout dès le premier essai.

Les processus professionnels se prêtent bien à ce type de vérification. Leurs étapes dépendent les unes des autres : une décision prise à la deuxième étape modifie tout ce qui suit à la cinquième. Kolab consigne la façon dont les experts échangent avec l'agent, ce qu'ils retiennent de ses réponses et ce qu'ils corrigent. Les participants ont aussi évalué eux-mêmes la qualité de la collaboration et celle du résultat final. Il en ressort une donnée rare : ce que les gens font de la contribution d'un agent une fois qu'elle a quitté la fenêtre de chat.

L'analyse met en évidence plusieurs schémas d'interaction. Beaucoup dépend du moment et de la manière dont le spécialiste fait intervenir l'agent dans son travail.

Deux tests absents des benchmarks d'automatisation

Selon les auteurs, un agent collaboratif doit savoir faire deux choses, et aucun test d'automatisation ne les vérifie. D'où les deux tâches du benchmark :

• Prédiction de l'usage de la contribution de l'agent. Le modèle doit prévoir ce que l'expert fera de la proposition de l'agent : l'accepter, la modifier ou la rejeter. Les étapes suivantes de l'agent en dépendent.
• Vérification des évaluations de la collaboration. À partir du déroulement du processus de travail, sans retour continu de l'expert, le modèle doit déterminer dans quelle mesure le participant est satisfait de la collaboration et quelle est la qualité du résultat.

Le jeu de données couvre 50 participants, 40 professions et plus de 115 heures d'enregistrement. Il intègre les évaluations des spécialistes eux-mêmes : la référence est donc l'avis d'un humain, et non une métrique automatique.

Où les modèles se trompent

Les résultats sont homogènes. Dans les deux catégories, agentique et non agentique, les modèles de pointe surestiment systématiquement la qualité de la collaboration avec les experts. Ils peinent aussi à distinguer une interaction de haute qualité d'une interaction de faible qualité. En pratique, un modèle tend à considérer que tout s'est bien passé, même lorsque l'expert est resté insatisfait ou a réécrit la moitié de ce qui était proposé.

Le résultat le moins intuitif concerne le contexte. Un historique plus long du processus de travail n'améliore pas les prédictions de façon constante. La solution courante, « donnons au modèle plus d'informations sur l'avancement du travail », ne fonctionne pas ici. Le problème ne vient apparemment pas d'un manque de tokens, mais d'une incapacité à lire les signaux : comment la personne réagit, ce qu'elle corrige en silence, à quel moment elle cesse de faire confiance.

Ce que les développeurs d'agents peuvent en tirer

Pour les équipes qui conçoivent des agents destinés à un usage professionnel, Kolab offre deux repères pratiques. Premier repère : il vaut la peine d'ajouter aux métriques de réussite des tâches des métriques d'acceptation de la contribution. Un agent qui résout 80 % des tâches en une passe, mais dont les experts réécrivent les résultats, est en pratique moins utile que ne le laisse penser le classement. Second repère : l'auto-évaluation de l'agent n'est pas fiable. Si un modèle surestime la qualité du travail commun, on ne peut pas s'appuyer sur ses propres signaux « tout se passe bien » pour décider automatiquement quand demander une confirmation à l'humain.

Pour les chercheurs, le jeu de données fournit du matériel pour entraîner des modèles qui prédisent la réaction de l'expert. Le code et les données sont publiés en accès libre, sur la page du projet Minnesota NLP et dans le dépôt GitHub. L'article est paru sur arXiv sous le numéro 2610.21109 et figure dans la sélection quotidienne de Hugging Face Papers.

Il faut garder en tête la principale limite : 50 participants constituent un petit échantillon, même si la couverture de 40 professions est large. Mais la direction est claire. Tant que les agents ne savent pas prédire ce que l'expert fera de leur résultat, ils restent un outil d'automatisation, et non un partenaire de travail.