StoreBench: agentes LLM gestionan una tienda online y pierden frente a un script, 49% contra 97%

Un grupo de investigadores ha publicado en arXiv StoreBench, un entorno en el que un agente LLM gestiona una tienda online de ropa de tamaño medio sobre un backend comercial de nivel de producción. Siete modelos de frontera se probaron en 11 escenarios de entre 30 y 45 días y en un año simulado completo. El mejor resultado es el de DeepSeek-V4-Pro: el modelo supera el umbral en el 49% de las celdas «tarea × semilla». La política con script smart-triage lo consigue en el 97%. Los expertos humanos, con las mismas herramientas y el mismo presupuesto, obtuvieron 0,708 en la puntuación compuesta, mientras que ningún modelo superó 0,700.

Un mundo que no espera al agente

Los autores parten de una crítica a los benchmarks agénticos actuales. En la mayoría, el mundo es estático y solo avanza cuando actúa el agente. La recompensa llega en un único veredicto final y la puntuación de aprobado se fija de forma arbitraria. Mientras tanto, los entornos de RL son hoy la principal palanca para mejorar los LLM en la fase de post-entrenamiento, y los defectos de la evaluación se convierten directamente en defectos del entrenamiento.

En StoreBench todo funciona de otra manera. Los clientes compran las 24 horas, los proveedores cambian precios y dejan de funcionar, y los shocks de mercado llegan con un aviso parcial o sin ningún aviso. El agente trabaja con las mismas 29 herramientas que usa el operador real de una tienda. Es una prueba de planificación a largo plazo y de decisiones económicas en condiciones de incertidumbre.

Parámetros clave del entorno:

• 29 herramientas de comerciante (merchant), las mismas que tiene un operador humano; • presupuesto de operaciones por ventanas: el tiempo simulado se determina por el número de acciones realizadas, de modo que las demoras del modelo no lo afectan; • umbrales de aprobado calibrados con políticas de referencia basadas en scripts; • recompensa protegida frente a un catálogo de reward hacks conocidos; • cada episodio se reproduce de forma idéntica con la misma secuencia de acciones; • 11 escenarios de 30–45 días más un año simulado completo, tres semillas del mundo y el mismo nivel de reasoning effort.

Una heurística supera a los modelos de frontera

La cifra más llamativa es la distancia respecto a un script simple. Ninguno de los siete modelos igualó de media a la política smart-triage. DeepSeek-V4-Pro supera el 49% de las celdas; la heurística, el 97%. Los humanos superan a todos los modelos, pero por un margen estrecho: 0,708 frente a 0,700 en la puntuación compuesta. El resumen del artículo no explica cómo se calcula esa puntuación compuesta. Además, solo se nombra al mejor modelo; los otros seis no aparecen en el resumen.

En el largo plazo el panorama cambia. En el año simulado completo, con el harness de Claude Code, la mayoría de los modelos mejoran de forma notable, según los autores. Del resumen no queda claro con qué se compara exactamente esa mejora. Una conclusión probable es que el resultado depende tanto del harness y de la longitud del horizonte como del propio modelo.

El experimento de entrenamiento es el más impresionante. En una ejecución de GRPO, Qwen3.5-27B se entrenó con solo cinco tareas sin solapamiento. La puntuación compuesta media en tareas reservadas subió de 0,136 a 0,373, es decir, unas 2,7 veces. Para un entorno con una recompensa honesta y protegida frente a hacks, es una buena señal: incluso una muestra de entrenamiento minúscula se transfiere a escenarios nuevos.

Qué conviene aplicar

Los autores publican cinco ejemplos de tareas de entrenamiento, diez muestras de trayectorias y las herramientas de evaluación y verificación. El entorno completo y el conjunto de evaluación son cerrados, para que el benchmark no llegue a los corpus de entrenamiento. Eso protege frente a la contaminación, pero por ahora no es posible verificar de forma independiente la tabla de resultados. Hay que fiarse de los datos de los autores: el preprint no ha pasado revisión por pares y solo se probaron siete modelos con tres semillas del mundo.

Los equipos que construyen agentes para tareas operativas pueden tomar prestadas de StoreBench cuatro prácticas. Primero, calibrar el umbral de éxito con una heurística simple y no con la intuición: si un script supera el 97%, el listón de «el modelo lo ha logrado» debe estar más alto. Segundo, calcular el tiempo de simulación a partir de las acciones, para que un modelo lento no obtenga una ventaja ni una penalización injustas. Tercero, mantener un catálogo de reward hacks y comprobar la recompensa contra él antes de empezar el RL. Cuarto, lograr una reproducción determinista de los episodios; de lo contrario, comparar ejecuciones no tiene sentido.

Y la principal conclusión práctica para quienes encargan agentes. Mientras un script básico supere a los modelos de frontera en la rutina operativa habitual, conviene conceder autonomía de forma gradual: una combinación de «heurística más LLM para los casos atípicos» parece más sensata que entregar la tienda por completo al agente.