agent-desktop a réussi 26 tâches sur 35 sur Mac, cua 33 et Codex 34

L'auteur @argofowl a publié sur X une courte comparaison de trois outils qui pilotent un ordinateur à la place de l'utilisateur : agent-desktop, cua et computer use de Codex. Il a lancé les trois sur son propre Mac, avec le même jeu de 35 tâches. Résultat : agent-desktop sous Opus 5.5 a accompli 26 tâches, cua sous la même Opus 5.5 en a accompli 33, et Codex sous Terra 6.1 en a accompli 34. Il s'agit d'un post de quelques lignes, pas d'une étude, mais les chiffres sont assez précis pour mériter une analyse.

Trois outils et leurs résultats

agent-desktop (Opus 5.5) a réussi 26 tâches sur 35, soit environ 74 %. Neuf tâches sont restées inachevées. L'auteur cite trois types d'échecs : le glisser-déposer (drag), les clics sur un canvas et le défilement d'une liste énorme. La fin de la phrase est tronquée dans le post, on ne peut donc rien dire des causes. D'après le contexte, il s'agit bien d'agent-desktop, mais le texte ne le précise pas.

cua (Opus 5.5) a réussi 33 tâches sur 35, soit environ 94 %. Il en a manqué deux. L'auteur ne dit pas lesquelles.

Computer use de Codex (Terra 6.1) obtient le meilleur résultat : 34 tâches sur 35, soit environ 97 %. Une seule tâche n'a pas été accomplie, et elle n'est pas décrite non plus.

L'écart entre la première et la dernière place est de 8 tâches. Entre agent-desktop et cua, il est de 7 tâches avec le même modèle, Opus 5.5. C'est l'enseignement le plus parlant de cette comparaison : le résultat dépend non seulement du modèle, mais aussi de la couche qui l'entoure. Cette couche détermine comment l'agent voit l'écran, comment il formule ses actions et comment il les transmet au système.

Quelles tâches se sont révélées les plus difficiles ?

Les trois types de tâches sur lesquels agent-desktop a échoué sont typiques des agents qui travaillent avec une interface graphique. Le glisser-déposer exige une séquence précise : appuyer, déplacer, relâcher. Le moindre délai ou une coordonnée imprécise fait échouer l'action. Le clic sur un canvas est délicat parce que l'intérieur de la zone de dessin ne contient pas les éléments d'interface habituels, dotés de noms et de rôles. L'agent doit alors s'appuyer sur les pixels. Le défilement d'une liste énorme est une épreuve d'endurance : il faut faire défiler sans perdre sa position et sans tourner en boucle.

Il faut ici être clair : le post n'explique pas pourquoi c'est précisément agent-desktop qui a échoué. Il peut s'agir de limites de l'outil lui-même, de sa méthode de saisie, de son traitement des captures d'écran ou de ses réglages. L'hypothèse d'un « point faible sur le drag et les canvas » reste une hypothèse, pas un fait établi.

Ce que l'on peut et ne peut pas en conclure

Les données sont trop maigres pour des conclusions tranchées. Premièrement, l'échantillon : 35 tâches et un seul ordinateur. Un échec de plus déplace le résultat de près de 3 points de pourcentage.

La différence entre 33 et 34 tâches pour cua et Codex reste donc dans la marge de bruit, et l'on ne peut pas présenter Codex comme le leader incontesté. Deuxièmement, on ne sait pas combien de fois chaque configuration a été lancée. Troisièmement, la composition des tâches n'est pas publiée, ce qui rend le test impossible à reproduire.

Quatrièmement, Codex utilise un autre modèle, Terra 6.1, si bien que la comparaison avec cua et agent-desktop n'isole pas l'effet de l'outil. Seule la comparaison entre agent-desktop et cua est propre, puisqu'ils partagent la même Opus 5.

5.

La conclusion pratique pour ceux qui choisissent un outil d'automatisation d'interfaces est assez concrète. Si vos scénarios comprennent du glisser-déposer, du travail sur canvas ou de longues listes, testez-les spécifiquement avant tout déploiement. Les affirmations générales selon lesquelles un agent « sait piloter un ordinateur » couvrent rarement ces cas. Un jeu de 30 à 50 tâches typiques, exécuté sur votre propre machine de travail, en dira plus que les résultats des autres. Le post de @argofowl est utile comme exemple de cette démarche, et comme signal que, sur un même modèle, l'écart entre deux surcouches peut atteindre sept tâches sur trente-cinq.

Le post a recueilli environ 5 mille vues : il est resté une simple note pour un cercle restreint. Si l'auteur publie la liste des tâches et le détail des échecs, la comparaison gagnera nettement en valeur.