EmbodiedLab: pusieron a prueba a los robots con experimentos y el mejor resolvió menos de la mitad

Investigadores de HexaFuture, entre cuyos autores figuran Hongcheng Gao, Bryan Hooi, Yinpeng Dong y Wentao Zhang, han presentado EmbodiedLab. Es un benchmark para agentes encarnados que deben plantear un experimento por sí mismos y extraer conocimiento de él. El conjunto incluye 30 experimentos cuantitativos de cinco disciplinas científicas en 14 montajes de laboratorio. Incluso el más potente de los seis agentes evaluados resuelve menos de la mitad de las tareas con control nativo.

Averiguar, no reubicar

La mayoría de los benchmarks de robótica miden la capacidad de cambiar el mundo: coger una taza, abrir un cajón, apilar cubos. El estado objetivo se conoce de antemano y al agente solo le queda alcanzarlo. Los benchmarks de descubrimiento científico, en cambio, evalúan el conocimiento, pero sustituyen el experimento físico por acciones simbólicas o consultas numéricas. El agente llama a una función y recibe un número, en lugar de manejar un instrumento real.

EmbodiedLab cubre el vacío entre ambos enfoques. El agente recibe un objetivo y la descripción del montaje. Elige el procedimiento por sí mismo, controla el robot en un simulador físico de laboratorio y lee los instrumentos a través de cámaras. Aquí, cambiar el estado físico es un medio y no un fin: el agente mueve el sistema, observa la respuesta y lo explora hasta obtener lo que busca, por ejemplo una regularidad física.

Cómo diseñar un examen justo

El principal problema de una prueba así es que la respuesta no debe estar en los datos de entrenamiento. Los autores lo resuelven con experimentos cuantitativos: los parámetros del sistema se remuestrean para cada instancia de la tarea. El resultado no se puede recordar ni adivinar, pero sí evaluar con precisión.

La evaluación comprueba dos cosas:

• qué ha averiguado finalmente el agente, y su respuesta debe apoyarse en las lecturas registradas durante el episodio;
• si se ha alcanzado el estado físico que exige la tarea.

Además, se ha verificado que cada experimento tenga solución, así que un fallo no puede atribuirse a una tarea defectuosa.

Seis modelos, tres modos

Los autores evaluaron seis modelos de vanguardia dentro de los agentes de programación de sus propios desarrolladores. Cada uno se probó en tres configuraciones:

• observación y control nativos, sin añadidos;
• con un módulo adicional de percepción y planificación de movimientos;
• con habilidades de manipulación extraídas de los agentes más fuertes.

Con control nativo, incluso el mejor agente tiene éxito en menos de la mitad de los experimentos. En los seis agentes, la mayor parte de los fallos no se debe al razonamiento, sino a la propia interacción con el montaje: hay que colocar el manipulador en el punto exacto, manejar bien el instrumento, esperar a que el sistema alcance el estado adecuado y tomar la lectura. Un modelo puede entender qué experimento hay que montar y, aun así, no llevarlo a término.

Otra observación se refiere a lo que sí ayuda. Las habilidades de manipulación obtenidas de los agentes más fuertes aportan más a los modelos débiles que la percepción y la planificación de movimientos añadidas. Al parecer, el cuello de botella está en las técnicas operativas bien trabajadas, y no en ver mejor la escena o calcular trayectorias.

Para quién es esta prueba

Para los desarrolladores de agentes, EmbodiedLab ofrece una métrica que antes no existía: la capacidad de cerrar el ciclo «hipótesis — acción — observación — conclusión» en un entorno físico. Es una capacidad que se espera de la automatización de laboratorios y de los asistentes autónomos en ciencia. Para los equipos que construyen estos sistemas, el resultado sugiere una prioridad: antes de potenciar el razonamiento, conviene invertir en un control fiable de los instrumentos y en bibliotecas de habilidades de manipulación.

El benchmark y el código de evaluación están abiertos en GitHub, en el repositorio HexaFuture/EmbodiedLab, de modo que se pueden ejecutar nuevos modelos y agentes sobre los mismos 30 experimentos y compararlos con los seis sistemas de referencia. El trabajo se ha publicado en arXiv con el número 2610.35385. La limitación sigue siendo evidente: todo ocurre en simulación, y trasladarlo a laboratorios reales exigirá una verificación aparte. Pero como diagnóstico de dónde fallan exactamente los agentes encarnados, el conjunto parece útil.