PhysRSI-eval mide cómo aprenden de sus errores los agentes VLM en 18 tareas de manipulación

El equipo de autores de un artículo publicado en Hugging Face Daily Papers ha propuesto PhysRSI-eval, un conjunto de métricas para evaluar la automejora recursiva física (RSI) en agentes basados en VLM. La idea es sencilla: dar al modelo 18 tareas de manipulación, limitar el número de interacciones con el mundo y observar cómo el agente aprende de sus propios fracasos. La conclusión final resulta incómoda para los rankings habituales. Dos sistemas con una puntuación media casi idéntica en benchmarks públicos pueden comportarse de forma muy distinta en un ciclo físico.

Cinco ejes en lugar de una sola puntuación

Un benchmark convencional responde a la pregunta «¿lo ha conseguido el modelo?». PhysRSI-eval pregunta con qué rapidez y hasta dónde puede mejorar el agente. Para ello, la métrica se descompone en cinco componentes:

• First-Attempt Performance: resultado en el primer intento, antes de cualquier retroalimentación;
• Efficiency: con qué economía gasta el agente sus intentos en el camino hacia el éxito;
• Success: proporción final de tareas resueltas;
• Budget: cuántas interacciones con el entorno hicieron falta del límite fijo;
• Improvement from failure: mejora de calidad tras las rondas fallidas.

La utilidad práctica de esta separación es que un Success final alto no tiene por qué ir acompañado de mejoras tempranas o eficientes. Un agente puede llegar a un buen resultado después de agotar todo el presupuesto, o puede lograr un resultado decente casi de inmediato y luego estancarse. Para un robot real, donde cada intento cuesta tiempo, desgaste y, a veces, objetos rotos, son perfiles de riesgo distintos.

La hipótesis del barril y la predicción a partir de los primeros intentos

A partir de los resultados de los experimentos, los autores formulan la Physical Barrel Hypothesis. El nombre remite al barril de Liebig: el nivel del agua lo determina la tabla más baja. Aquí las tablas son las capacidades del modelo, y distintas capacidades limitan distintas partes de la mejora. Una se encarga de la calidad del primer intento; otra, de la capacidad de extraer una lección del fracaso.

Además, se estudia el escalado observacional (observational scaling) desde dos ángulos. El primero consiste en predecir el rendimiento relativo de los agentes VLM a partir de sus capacidades públicas. El segundo, en pronosticar el progreso tardío a partir de la retroalimentación física temprana. Juntos responden a la pregunta de con qué rapidez y hasta dónde puede mejorar un agente. El resumen del artículo no incluye coeficientes concretos ni parámetros de las dependencias, así que la precisión de la predicción solo podrá valorarse con el texto completo del trabajo.

La segunda parte del estudio se centra en las intervenciones sobre el espacio de trabajo del agente, es decir, sobre lo que queda tras las rondas de mejora. Los resultados son tres:

• eliminar el historial reduce el éxito en las rondas tardías, lo que indica que el contexto acumulado realmente funciona;
• los espacios de trabajo congelados siguen siendo útiles en disposiciones de escena desconocidas;
• en tres casos entre tareas distintas, el éxito se alcanza antes.

Los autores extraen una conclusión prudente: la adaptación a una escena concreta y la experiencia reutilizable pueden coexistir. En otras palabras, lo que acumula el agente no tiene por qué quedar «pegado» a una única disposición de la mesa.

Qué deberían comprobar los equipos en la práctica

Para quienes construyen robots o agentes sobre VLM, el trabajo ofrece varias pautas útiles. Primero, elegir un modelo por su puntuación media pública es arriesgado: conviene evaluarlo con el perfil de cinco ejes, en las tareas propias y con un presupuesto de intentos realista. Segundo, si los fallos costosos son críticos para usted, hay que mirar First-Attempt Performance y Efficiency, y no solo el Success final. Tercero, conviene conservar el historial y el espacio de trabajo entre rondas: según los datos de los autores, sin historial los resultados tardíos empeoran, mientras que el espacio congelado ayuda en disposiciones nuevas.

Las limitaciones también son evidentes. Dieciocho tareas de manipulación constituyen una muestra estrecha, y la hipótesis del barril es por ahora una observación, no una ley demostrada. Aun así, el planteamiento es útil: desplaza la conversación sobre los agentes de «cuán inteligente es el modelo» a «cómo se comporta cuando se equivoca».