RSIHub reúne 4 métodos de evolución de agentes en un solo framework: hasta +13,5 p. p.

La investigación sobre agentes que se automejoran choca con una tarea rutinaria: cada equipo reescribe desde cero el mismo andamiaje para lanzar ejecuciones, evaluar y llevar el control de versiones. El equipo de Zimu Wang ha presentado RSIHub, un framework de código abierto que traslada ese andamiaje a una infraestructura común. Sobre ella, los autores ejecutaron cuatro métodos de evolución de agentes y los compararon en dos benchmarks. La mayor mejora del pass@1 global fue de 13,5 puntos porcentuales. La conclusión principal es más modesta que el titular: no hay un ganador para todos los casos.

La evolución del agente como un conjunto de piezas intercambiables

La evolución de agentes funciona así: el agente resuelve tareas, el sistema recoge el feedback y, a partir de él, reescribe los prompts, las habilidades, las herramientas o el esquema de orquestación. La idea es sencilla, pero las implementaciones suelen estar hechas a medida de un artículo concreto y son incompatibles entre sí.

En RSIHub, un método se describe como una «receta». La receta se compone de operadores reutilizables y declara de forma explícita qué recursos se pueden modificar. De todo lo demás se encarga la plataforma: la ejecución, la evaluación, la recuperación tras fallos y la trazabilidad del origen de los candidatos (lineage). El investigador solo escribe la política de evolución, es decir, decide qué mutar y a quién conservar.

La decisión de arquitectura clave afecta a la evaluación. Queda fuera de la superficie modificable, de modo que el agente no puede reescribir a su propio examinador. En sistemas que se editan a sí mismos, es una protección contra la trampa más obvia. Cada resultado está vinculado a un candidato concreto y a unas condiciones de evaluación determinadas, así que la historia de cualquier mejora se puede reconstruir hacia atrás.

Cuatro métodos sobre un mismo sustrato

Los autores implementaron los métodos sin modificar una sola línea del núcleo del framework. Toda la especificidad quedó en las recetas y los operadores. Esa es la principal prueba práctica de composabilidad.

• AHE: el primer método de evolución de agentes que se reprodujo.
• Hyperagents: un enfoque de agentes que se modifican a sí mismos.
• A-Evolve: un método de evolución de agentes basado en feedback.
• GEPA: un método de optimización mediante reflexión sobre los resultados de ejecución.

El banco de pruebas fue este:

• Arneses de agente: MiniSWE y Codex.
• Benchmarks: Terminal Bench 2 (tareas en terminal) y τ³ Banking (escenarios bancarios).
• Condiciones: configuraciones fijas del modelo y del evaluador, para que la diferencia dependa únicamente del método de evolución.
• Métrica principal: pass@1 global.
• Mejor resultado: +13,5 p. p. de pass@1.

Dónde las cifras contradicen las expectativas

Lo más interesante de los resultados no es el récord, sino sus límites. El ranking de métodos cambia de una configuración a otra. Un método que lidera con un arnés o un benchmark puede quedar por detrás en otro. La mejora en las tareas sobre las que se optimizó no siempre se mantiene en las reservadas (held-out). Es el sobreajuste clásico, solo que ahora ocurre en el nivel de los prompts, las habilidades y las herramientas, y no en el de los pesos.

Para la industria, es una señal incómoda pero útil. Las publicaciones sobre automejora de agentes suelen comparar su método con el de otros sobre su propio andamiaje y con sus propios supuestos. Un protocolo común simplifica esas comparaciones. También deja a la vista los casos en que la ventaja depende de una coincidencia afortunada de condiciones.

Qué hacer con esto

Los equipos que construyen agentes de programación o asistentes corporativos pueden usar RSIHub como banco de pruebas. Las recetas de los cuatro métodos ya están listas, y se pueden ejecutar sobre tareas propias en lugar de escribir el andamiaje desde cero.

Las reglas prácticas se derivan de los propios resultados. Mantener una muestra reservada y evaluar sobre ella, no solo sobre las tareas de optimización. No fiarse del ranking de un único benchmark. Guardar el lineage de cada candidato para entender qué cambio produjo la mejora. El código está abierto en GitHub (simple-agent-lab/RSIHub), el proyecto ya suma 186 estrellas y los autores piden contribuciones en forma de nuevos métodos de evolución y benchmarks. Si el ecosistema incorpora nuevas recetas, la comunidad dispondrá de una forma común de comprobar cuáles funcionan más allá de un solo artículo.