agent-desktop completó 26 de 35 tareas en Mac, cua 33 y Codex 34

El autor @argofowl publicó en X una breve comparación de tres herramientas que manejan el ordenador en lugar de una persona: agent-desktop, cua y computer use de Codex. Ejecutó las tres en su propio Mac y les dio el mismo conjunto de 35 tareas. El resultado: agent-desktop con Opus 5.5 completó 26 tareas, cua con la misma Opus 5.5 completó 33 y Codex con Terra 6.1 completó 34. Es una publicación de unas pocas líneas, no un estudio, pero las cifras son lo bastante concretas como para analizarlas.

Tres herramientas y sus resultados

agent-desktop (Opus 5.5) completó 26 de las 35 tareas, alrededor del 74%. Nueve tareas quedaron sin resolver. El autor menciona tres tipos de fallo: arrastrar elementos (drag), hacer clic en canvas y desplazarse por una lista enorme. La frase final de la publicación aparece cortada, así que no se pueden conocer las causas. Por el contexto, parece referirse a agent-desktop, pero el texto no lo aclara.

cua (Opus 5.5) completó 33 de 35 tareas, alrededor del 94%. Se saltó dos tareas, y el autor no dice cuáles.

Computer use de Codex (Terra 6.1) obtuvo el mejor resultado: 34 de 35 tareas, alrededor del 97%. Quedó sin completar una sola tarea, y tampoco se describe cuál fue.

La diferencia entre el primer y el último puesto es de 8 tareas. Entre agent-desktop y cua, con el mismo modelo Opus 5.5, es de 7 tareas. Es la parte más reveladora de la comparación: muestra que el resultado no depende solo del modelo, sino también de la capa que lo rodea. Esa capa determina cómo ve el agente la pantalla, cómo formula las acciones y cómo se las transmite al sistema.

Qué tareas resultaron más difíciles

Los tres tipos de tareas en los que falló agent-desktop son bastante típicos de los agentes que trabajan con interfaces gráficas. Arrastrar exige una secuencia precisa: pulsar, mover y soltar. Cualquier retraso o una coordenada imprecisa rompe la acción. El clic en un canvas es complicado porque dentro del lienzo no hay los elementos de interfaz habituales, con nombres y roles; el agente tiene que guiarse por píxeles. Desplazarse por una lista enorme es una tarea de resistencia: hay que avanzar sin perder la posición y sin entrar en bucles.

Conviene decirlo con claridad: la publicación no explica por qué falló precisamente agent-desktop. Pudo deberse a limitaciones de la propia herramienta, a su método de entrada, al procesamiento de capturas de pantalla o a su configuración. La idea de que el punto débil son el arrastre y los lienzos puede considerarse una hipótesis, no un hecho establecido.

Qué se puede y qué no se puede concluir

Hay pocos datos para sacar conclusiones contundentes. Primero, la muestra: 35 tareas y un solo ordenador. Un fallo más desplaza el resultado casi 3 puntos porcentuales.

Por eso la diferencia entre 33 y 34 tareas, en cua y Codex, queda dentro del margen de ruido, y no se puede presentar a Codex como líder indiscutible. Segundo, se desconoce cuántas veces se ejecutó cada configuración. Tercero, no se ha revelado la composición de las tareas, por lo que la prueba no se puede repetir.

Cuarto, Codex usa otro modelo, Terra 6.1, de modo que la comparación con cua y agent-desktop no aísla el efecto de la herramienta. La comparación limpia entre arneses solo es posible entre agent-desktop y cua, que comparten Opus 5.

5.

La conclusión práctica para quien elige una herramienta de automatización de interfaces es bastante aplicada. Si sus escenarios incluyen arrastrar, trabajar en un lienzo o recorrer listas largas, pruebe precisamente eso antes de implantarla. Las afirmaciones generales de que un agente «sabe manejar el ordenador» suelen no cubrir estos casos. Un conjunto propio de entre 30 y 50 tareas típicas, ejecutado en su propia máquina de trabajo, dirá más que los resultados ajenos. La publicación de @argofowl resulta útil como ejemplo de ese enfoque y como señal de que la diferencia entre arneses con un mismo modelo puede llegar a siete tareas de treinta y cinco.

La publicación reunió unas 5 mil visualizaciones, así que se quedó en una nota para un círculo reducido. Si el autor publica la lista de tareas y los detalles de los fallos, la comparación ganará mucho valor.