LiveMACEBench evaluó a cinco agentes LLM en un mercado real durante 30 días

Un grupo de investigadores presentó LiveMACEBench, un benchmark que evalúa a los agentes LLM no por el resultado final, sino por cómo toman decisiones. El banco de pruebas son los mercados financieros reales. Cinco modelos frontier trabajaron como agentes persistentes durante 30 días seguidos, mientras que los autores guardaron las trazas completas de decisiones y las analizaron por mecanismos. El resultado principal: la rentabilidad realizada a menudo no coincide con las capacidades medidas, y resultados parecidos pueden surgir de patrones de comportamiento muy distintos.

Por qué un mercado y no un conjunto estático de tareas

Los benchmarks agénticos clásicos funcionan en un entorno cerrado con condiciones fijas. El agente resuelve una tarea, recibe una puntuación y ahí termina todo. En un entorno que evoluciona, el panorama es otro. El resultado surge de un bucle de retroalimentación: el comportamiento del agente influye en el estado de las cosas, mientras que las condiciones externas cambian con independencia de él. Si solo se mira la cifra final, es imposible saber a qué se debe: al buen uso de las herramientas, a una memoria acertada de los pasos anteriores, al cumplimiento de las reglas o, simplemente, a la suerte en un tramo concreto del mercado.

Un mercado financiero real encaja de forma natural en este tipo de prueba. Cambia constantemente, no se puede memorizar de antemano y los datos no se pueden ajustar al modelo durante el experimento. Los autores lo describen como un «campo de pruebas de evolución natural» para agentes persistentes.

Cómo funciona LiveMACEBench

En el experimento participan cinco LLM frontier. Trabajan en trayectorias continuas, no en episodios aislados. Cada modelo pasa por configuraciones comparables en las que se activan o desactivan capacidades concretas.

• Tool Use: uso de herramientas externas.
• Persistent Memory: almacenamiento y aplicación de la memoria entre pasos.
• Rule Following: cumplimiento de las restricciones y reglas establecidas.
• Multi-Agent Collaboration: interacción entre varios agentes.
• Duración: 30 días de evaluación en vivo.
• Métricas: resultado realizado más diagnóstico por mecanismos concretos a partir de las trazas completas de decisiones.

El segundo grupo de métricas es el más importante. Los autores no se fijan solo en lo que ganó el agente, sino también en cómo manejó las herramientas, qué recuperó de la memoria, si infringió las reglas y cómo coordinó sus acciones con otros agentes.

La brecha entre resultado y capacidad

El hallazgo clave se llama outcome-capability gap. La rentabilidad con frecuencia no coincidía con la evaluación de capacidades concretas. También ocurría lo contrario: resultados finales similares ocultaban esquemas de uso de los mecanismos claramente distintos. Dos modelos podían llegar a una cifra parecida, uno gracias a un trabajo cuidadoso con las herramientas y la memoria, y el otro por vías muy diferentes.

El rastreo de decisiones también reveló cuellos de botella diversos. Cada capacidad tiene los suyos, por lo que una única puntuación general de «calidad del agente» no refleja la situación real. Los autores distinguen tres cosas que a menudo se confunden: el acceso a un mecanismo, el uso eficaz de ese mecanismo y el rendimiento final. Según sus conclusiones, estas magnitudes no son intercambiables.

El resumen del trabajo no incluye los nombres de los modelos ni los valores numéricos de rentabilidad, así que no permite comparar proveedores. El valor del estudio está en la metodología: convierte el mercado en vivo de una tabla de clasificación en un entorno de diagnóstico.

Qué deben hacer los equipos que construyen agentes

La conclusión práctica es sencilla: registren no solo el resultado, sino todo el camino hasta él. Si su agente opera en bolsa, escribe código, atiende soporte o gestiona procesos, las trazas completas de decisiones son tan necesarias para depurar como la métrica de éxito.

Segundo: verifiquen los mecanismos por separado. Que la arquitectura incluya memoria o un conjunto de herramientas no garantiza que el agente las use con criterio. Conviene definir métricas del tipo «con qué frecuencia y cuán oportunamente se invoca una herramienta» y «si la memoria recuperada influye en la decisión».

Tercero: no se fíen de una sola ejecución en un entorno cambiante. Una buena rentabilidad en un periodo corto puede ser ruido, y una rentabilidad débil puede esconder capacidades sólidas que simplemente no coincidieron con la fase del mercado. El diagnóstico por trazas ayuda a distinguir un caso del otro y a decidir qué mejorar: la memoria, la disciplina con las reglas o la coordinación entre agentes.

Para quienes eligen un modelo para un producto agéntico, la conclusión también es práctica: comparen a los candidatos con sus propias trazas, no con un único leaderboard público.