Cohere descubre cómo lograr el 61,8% de la recompensa con un equipo de agentes de código por $155 en lugar de $510

Cohere ha medido cuánto cuesta el trabajo en equipo de los agentes de programación y ha encontrado una forma de recortar la factura de manera notable. En el benchmark ProgramBench, un equipo bien organizado supera al agente individual en casi 10 puntos porcentuales, pero gasta entre 3 y 7 veces más. La combinación de un líder potente, Sol, con 16 ejecutores baratos, Luna, en la fase de planificación logra el 61,8% de la recompensa. Un equipo formado íntegramente por Sol, donde se delega cada etapa, obtiene el 63,2%. La primera opción cuesta $155; la segunda, $510.

Los equipos de agentes ya construyen software, pero nadie sabe

calcular los costes

En el último año, los equipos de agentes han pasado de las demostraciones a los grandes proyectos. Dieciséis agentes Claude escribieron un compilador de C de 100 mil líneas capaz de compilar el kernel de Linux. Hicieron falta unas 2000 sesiones y $20 000 en API. Los agentes de Cursor escribieron desde cero, en aproximadamente una semana, un navegador de más de un millón de líneas. Bun se portó de Zig a Rust en 11 días, con un pico de 64 agentes Claude trabajando en paralelo.

Estos proyectos difieren en muchos parámetros a la vez. En el compilador, los agentes trabajaban como iguales y tomaban tareas mediante archivos de bloqueo (lock). En Cursor había una jerarquía en la que los planificadores dividían el trabajo de forma recursiva en subtareas. En Bun los roles eran fijos: por cada bloque de trabajo, un ejecutor, dos revisores adversariales y uno que corregía. Con ejemplos así es imposible saber qué decisión aportó qué. La investigación de Factory muestra la magnitud del coste: al reconstruir la biblioteca GDAL, un equipo de tres roles más que duplicó la recompensa frente a un agente individual, pero costó 14 veces más y tardó 13 veces más.

Un banco de pruebas que cambia una variable cada vez

Los autores, Kinen Samuei, Daniel D'Souza y Nouha Dziri, construyeron a propósito una estructura mínima inspirada en mini-SWE-agent. Todos los agentes trabajan con una herramienta bash sencilla en un espacio de trabajo compartido. El líder recibe la tarea y reparte el trabajo con la herramienta delegate_agent. El ejecutor solo ve su subtarea y, al terminar, informa. El propio líder decide cuántos ejecutores lanzar, en qué ocuparlos y cómo reunir el resultado. Un ejecutor puede reanudarse con su contexto guardado, por ejemplo para pedirle que corrija errores de su propio código, sin tener que poner al día a un agente nuevo.

Los investigadores modifican cinco parámetros. Uno de ellos es en qué momento el líder recurre a los ejecutores. El prompt mínimo se limita a pedirle que les dé tareas independientes. El prompt PIV añade una estructura de planificación con exploración, implementación y verificación, y exige delegar en las tres etapas. El segundo parámetro tiene que ver con la espera: un líder bloqueante aguarda los informes de los ejecutores. El resto de parámetros no se detalla en el fragmento disponible del material.

Qué mostraron las mediciones

• La ventaja del equipo sobre el agente individual en ProgramBench llega a unos 10 p.p., con un coste entre 3 y 7 veces mayor.
• Delegar solo la exploración y la planificación da el mismo resultado que delegar planificación, implementación y verificación juntas, con la mitad del gasto.
• Un líder Sol y 16 ejecutores Luna en la planificación: 61,8% de la recompensa frente al 63,2% del equipo completo de Sol.
• El coste baja de $510 a $155, es decir, un 70%.

La conclusión principal: el lugar al que diriges a los agentes importa más que su número. El cómputo adicional compensa cuando los agentes atacan un cuello de botella real de la tarea. En ProgramBench, ese cuello de botella es la exploración del programa original y la planificación.

Cómo montar un equipo en la práctica

Empiece con un solo líder potente y añada ejecutores únicamente donde la tarea se atasque en la exploración o la planificación. Para esas etapas sirven modelos baratos. No conviene delegar de forma automática la implementación ni la verificación: el experimento indica que la segunda mitad del flujo puede aumentar los gastos casi sin mejorar la calidad. Antes de escalar, mida el coste y la recompensa tanto del agente individual como del equipo. Una diferencia de 1,4 p.p. con una factura que se triplica indica que toca rediseñar el equipo.