agent-desktop выполнил 26 из 35 задач на Mac, cua — 33, а Codex — 34

Автор @argofowl в X опубликовал короткое сравнение трёх инструментов, которые управляют компьютером вместо человека: agent-desktop, cua и computer use из Codex. Все три он запускал на собственном Mac и давал одинаковый набор из 35 задач. Результат такой: agent-desktop на Opus 5.5 выполнил 26 задач, cua на той же Opus 5.5 — 33, а Codex на Terra 6.1 — 34. Это пост из нескольких строк, а не исследование, но цифры достаточно конкретны, чтобы их разобрать.

Три инструмента и их результаты

agent-desktop (Opus 5.5) закрыл 26 задач из 35, то есть около 74%. Девять задач остались невыполненными. Автор называет три типа провалов: перетаскивание (drag), клики по canvas и прокрутка огромного списка. Окончание фразы в посте обрезано, поэтому о причинах сказать нечего. Судя по контексту, речь именно об agent-desktop, но в самом тексте это не расшифровано.

cua (Opus 5.5) выполнил 33 задачи из 35, около 94%. Он пропустил две задачи. Какие именно, автор не пишет.

Computer use из Codex (Terra 6.1) показал лучший результат: 34 задачи из 35, около 97%. Невыполненной осталась одна задача, и её тоже не описали.

Разрыв между первым и последним местом — 8 задач. Между agent-desktop и cua — 7 задач при одной и той же модели Opus 5.5. Это самая показательная часть сравнения. Из неё видно, что итог зависит не только от модели, но и от слоя вокруг неё. Этот слой отвечает за то, как агент видит экран, как формирует действия и как передаёт их системе.

Какие задачи оказались самыми трудными

Три типа задач, на которых agent-desktop ошибался, вполне типичны для агентов, работающих с графическим интерфейсом. Перетаскивание требует точной последовательности: нажать, провести, отпустить. Любая задержка или неточная координата ломает действие. Клик по canvas сложен тем, что внутри холста нет привычных элементов интерфейса с названиями и ролями. Агенту приходится опираться на пиксели. Прокрутка огромного списка — задача на выдержку: нужно листать, не теряя место и не зацикливаясь.

Здесь стоит остановиться и сказать прямо: почему провалился именно agent-desktop, пост не объясняет. Это могли быть ограничения самого инструмента, его способа ввода, обработки скриншотов или настроек. Версию про «слабое место драга и холстов» можно считать гипотезой, но не установленным фактом.

Что из этого можно и нельзя вынести

Данных для громких выводов мало. Во-первых, выборка: 35 задач и один компьютер. Один лишний пропуск сдвигает результат почти на 3 процентных пункта. Поэтому разница между 33 и 34 задачами у cua и Codex лежит в пределах шума, и называть Codex безусловным лидером нельзя. Во-вторых, неизвестно, сколько раз запускали каждую конфигурацию. В-третьих, не раскрыт состав задач, а значит, повторить тест нельзя. В-четвёртых, у Codex другая модель, Terra 6.1, поэтому сравнение с cua и agent-desktop не изолирует влияние инструмента. Чистое сравнение обвязок получается только между agent-desktop и cua: у них общая Opus 5.5.

Практический вывод для тех, кто выбирает инструмент автоматизации интерфейсов, довольно прикладной. Если ваши сценарии включают перетаскивание, работу на холсте или длинные списки, проверяйте именно их до внедрения. Общие заявления о том, что агент «умеет управлять компьютером», такие случаи обычно не охватывают. Свой набор из 30–50 типичных задач, прогнанный на своей рабочей машине, скажет больше, чем чужие результаты. Пост @argofowl полезен как пример такого подхода и как сигнал, что разброс между обвязками на одной модели может достигать семи задач из тридцати пяти.

Пост набрал около 5 тысяч просмотров, то есть остался заметкой для узкого круга. Если автор выложит список задач и подробности провалов, сравнение станет значительно ценнее.