agent-desktop completou 26 de 35 tarefas no Mac, cua fez 33 e Codex, 34

O autor @argofowl publicou no X uma comparação curta de três ferramentas que controlam o computador no lugar de uma pessoa: agent-desktop, cua e o computer use do Codex. Ele rodou as três no próprio Mac, com o mesmo conjunto de 35 tarefas. O resultado: o agent-desktop com Opus 5.5 completou 26 tarefas, o cua com a mesma Opus 5.5 completou 33, e o Codex com Terra 6.1 completou 34. É um post de poucas linhas, não uma pesquisa, mas os números são concretos o bastante para uma análise.

Três ferramentas e seus resultados

agent-desktop (Opus 5.5) completou 26 de 35 tarefas, cerca de 74%. Nove tarefas ficaram sem ser concluídas. O autor cita três tipos de falha: arrastar e soltar (drag), cliques em canvas e rolagem de uma lista enorme. A frase final do post está cortada, então não há como dizer quais foram as causas. Pelo contexto, a observação se refere ao agent-desktop, mas o texto não deixa isso explícito.

cua (Opus 5.5) completou 33 de 35 tarefas, cerca de 94%. Ele deixou de fazer duas tarefas. O autor não diz quais.

Computer use do Codex (Terra 6.1) teve o melhor resultado: 34 de 35 tarefas, cerca de 97%. Uma tarefa ficou sem ser concluída, e ela também não foi descrita.

A distância entre o primeiro e o último colocado é de 8 tarefas. Entre o agent-desktop e o cua, com a mesma Opus 5.5, é de 7 tarefas. Esta é a parte mais reveladora da comparação. Ela mostra que o resultado depende não só do modelo, mas também da camada ao redor dele. Essa camada define como o agente enxerga a tela, como monta as ações e como as transmite ao sistema.

Quais tarefas foram as mais difíceis

Os três tipos de tarefa em que o agent-desktop errou são bastante típicos para agentes que trabalham com interface gráfica. Arrastar e soltar exige uma sequência precisa: pressionar, mover, soltar. Qualquer atraso ou coordenada imprecisa quebra a ação. Clicar em um canvas é difícil porque, dentro da área de desenho, não há os elementos de interface habituais, com nomes e funções definidos. O agente precisa se apoiar em pixels. Rolar uma lista enorme é uma prova de resistência: é preciso avançar sem perder a posição e sem entrar em loop.

Vale ser direto neste ponto: o post não explica por que justamente o agent-desktop falhou. Podem ter sido limitações da própria ferramenta, do seu método de entrada, do processamento de screenshots ou de configurações. A versão de que o ponto fraco seria o drag e os canvas pode ser tratada como hipótese, não como fato estabelecido.

O que dá e o que não dá para concluir

Há poucos dados para conclusões fortes. Primeiro, a amostra: 35 tarefas e um único computador. Uma falha a mais desloca o resultado em quase 3 pontos percentuais.

Por isso, a diferença entre 33 e 34 tarefas, no cua e no Codex, está dentro da margem de ruído, e não dá para chamar o Codex de líder incontestável. Segundo, não se sabe quantas vezes cada configuração foi executada. Terceiro, a composição das tarefas não foi divulgada, então o teste não pode ser repetido.

Quarto, o Codex usa outro modelo, Terra 6.1, de modo que a comparação com cua e agent-desktop não isola o efeito da ferramenta. Uma comparação limpa entre harnesses só existe entre agent-desktop e cua, que compartilham a Opus 5.

5.

A conclusão prática para quem escolhe uma ferramenta de automação de interface é bem objetiva. Se os seus cenários incluem arrastar e soltar, trabalho em canvas ou listas longas, teste justamente esses casos antes de adotar a ferramenta. Declarações genéricas de que o agente "sabe controlar o computador" geralmente não cobrem esses casos. Um conjunto próprio de 30–50 tarefas típicas, executado na sua máquina de trabalho, diz mais do que os resultados de terceiros. O post de @argofowl é útil como exemplo dessa abordagem e como sinal de que a variação entre harnesses com o mesmo modelo pode chegar a sete tarefas em trinta e cinco.

O post teve cerca de 5 mil visualizações, ou seja, ficou restrito a um público pequeno. Se o autor publicar a lista de tarefas e os detalhes das falhas, a comparação ganhará bastante valor.