RoboCasa-Shift: un benchmark muestra dónde fallan los robots VLA en la cocina

Un mismo descenso en el porcentaje medio de éxito puede esconder averías muy distintas del robot. Esa es la conclusión del equipo de RoboCasa-Shift, un benchmark de diagnóstico para políticas VLA (vision-language-action) construido sobre el simulador RoboCasa365. Los autores evaluaron con él GR00T N1.5 en cuatro tareas largas de cocina, con cuatro factores de perturbación y tres niveles de severidad calibrados. El resultado son 1 040 ejecuciones válidas, entre ellas condiciones en las que la política fracasaba por completo en la tarea.

Un ejemplo ilustra para qué sirve. El desplazamiento de cámara de nivel L2 y el desenfoque gaussiano de nivel L1 provocan la misma caída de éxito, ΔSR=0,188. Según la métrica agregada, son gemelos. Sin embargo, el análisis por etapas muestra que, en la primera fase de la tarea, la política falla en 19,0% de los casos con el desplazamiento de cámara y en 36,4% con el desenfoque. La cifra final es la misma, pero las trayectorias de fallo son distintas.

Ejecuciones emparejadas en lugar de comparar medias

Lo habitual para evaluar la robustez de un VLA es tomar una ejecución limpia, otra perturbada y comparar el success rate medio. El problema es que los dos conjuntos de episodios no difieren solo en el desplazamiento que se quiere medir, sino también en las condiciones iniciales aleatorias. RoboCasa-Shift es más estricto. Cada par de ejecuciones usa la misma configuración base de la escena y se distingue únicamente por la perturbación estudiada. Además, los desplazamientos son individuales: cambia exactamente un factor, así que no hay que adivinar la causa de la degradación.

Este diseño deja al descubierto un efecto que la media no refleja. Una de las condiciones de cámara dio ΔSR=0, es decir, formalmente no cambió nada. Pero en 8 de 80 episodios emparejados el resultado fue distinto. Algunas tareas que el robot completaba antes empezó a fallarlas, y otras, al revés, de repente las logró. La cifra media simplemente sumó ganancias y pérdidas. Para el despliegue, un delta nulo así es peligroso: crea una sensación de robustez cuando el comportamiento de la política es, en realidad, inestable.

La profundidad del fallo como métrica independiente

El tercer elemento del benchmark es un diagnóstico por etapas vinculado al estado del simulador. Una tarea doméstica larga se compone de fases sucesivas, y los autores miden hasta cuál llega la política. Eso da un perfil de profundidad de ejecución: el robot puede tropezar ya en el agarre, o llegar casi al final y echar a perder el resultado en el último paso. Para un ingeniero, son errores radicalmente distintos que requieren remedios distintos. El primero suele apuntar a problemas de percepción; el segundo, a la acumulación de errores a lo largo de la tarea.

Hay otra observación: aumentar la severidad de la perturbación no siempre empeora el resultado de forma monótona. Un desplazamiento más fuerte puede resultar menos dañino para la política que uno más débil. De ahí se desprende que una sola curva de «intensidad de la perturbación frente a calidad» no basta para evaluar un VLA.

Parámetros del estudio

• Benchmark: RoboCasa-Shift, basado en RoboCasa365
• Política evaluada: GR00T N1.5
• Tareas: cuatro escenarios domésticos largos que superaron un umbral de calidad previamente fijado en condiciones limpias
• Factores de perturbación: cuatro, con tres niveles de severidad calibrados cada uno
• Volumen: 1 040 ejecuciones válidas
• Métricas: caída del éxito (ΔSR), sensibilidad de los resultados en episodios emparejados, proporción de fallos en cada etapa
• Código: abierto en GitHub, repositorio HaochengWang23/RoboCasa-Shift

Cómo cambiar el proceso de pruebas de robots

Para los equipos que ajustan o implantan modelos VLA, la conclusión es práctica. Un único porcentaje de éxito final se queda corto: hacen falta al menos tres capas de reporte: la degradación total, el número de episodios cuyo resultado cambió con un delta medio nulo y la distribución de fallos por etapas de la tarea. La primera capa responde a «cuánto de mal», la segunda a «cuánta inestabilidad» y la tercera a «dónde arreglarlo».

También importa el criterio de selección de tareas. Los autores solo admiten en el análisis las tareas que la política resuelve con solvencia sin perturbaciones. De lo contrario, es imposible distinguir la fragilidad del modelo de su incapacidad para resolver la tarea incluso en un entorno limpio. Conviene adoptar esta práctica también al comparar modelos distintos.

Las limitaciones están claras: se evaluó una sola política y cuatro tareas, y además en simulación. Cómo se trasladan estos perfiles de fallo a cocinas reales y a otros VLA lo dirán trabajos posteriores. Pero la comunidad cuenta ahora con una herramienta abierta que permite plantear estas preguntas en condiciones idénticas. En robótica, donde el precio de un error es una vajilla rota o una línea de producción parada, es un paso significativo de los rankings hacia el diagnóstico.