EmbodiedLab: pusieron a prueba a robots en experimentos, y el mejor resolvió menos de la mitad

Investigadores de HexaFuture, entre cuyos autores figuran Hongcheng Gao, Bryan Hooi, Yinpeng Dong y Wentao Zhang, han presentado EmbodiedLab. Se trata de un benchmark para agentes encarnados que deben plantear por sí mismos un experimento y obtener de él un conocimiento. El conjunto incluye 30 experimentos cuantitativos de cinco disciplinas científicas en 14 instalaciones de laboratorio. Incluso el más fuerte de los seis agentes probados resuelve, con control nativo, menos de la mitad de las tareas.

Averiguar, no mover

La mayoría de los benchmarks de robótica evalúan la capacidad de cambiar el mundo: tomar una taza, abrir un cajón, apilar cubos. El estado objetivo se conoce de antemano y al agente solo le queda alcanzarlo. Los benchmarks de descubrimiento científico, por el contrario, evalúan el conocimiento, pero en ellos el experimento físico se sustituye por acciones simbólicas o consultas numéricas. El agente llama a una función y recibe un número, sin tener que lidiar con un instrumento real.

EmbodiedLab cierra la brecha entre ambos enfoques. El agente recibe un objetivo y una descripción de la instalación. Elige por sí mismo el procedimiento, controla al robot en un simulador físico de laboratorio y lee las indicaciones de los instrumentos mediante cámaras. El cambio de estado físico aquí es un medio, no un fin: el agente mueve el sistema, observa la respuesta y lo investiga hasta obtener lo que busca, por ejemplo una ley física.

Cómo diseñar un examen honesto

El principal problema de este tipo de prueba es que la respuesta no debe estar en los datos de entrenamiento. Los autores resolvieron esto mediante experimentos cuantitativos: los parámetros del sistema se remuestrean para cada instancia de la tarea. El resultado no se puede recordar ni adivinar, pero sí se puede evaluar con precisión.

La evaluación comprueba dos cosas:

• lo que el agente llegó a averiguar, siendo la respuesta debe basarse en las lecturas registradas durante el episodio; • si se ha alcanzado el estado físico que exige la tarea.

Además, cada experimento ha sido verificado en cuanto a su resolubilidad, de modo que el fracaso no se puede atribuir a una tarea defectuosa.

Seis modelos, tres modos

Los autores probaron seis modelos de vanguardia dentro de los agentes de codificación de sus propios desarrolladores. Cada uno se evaluó en tres configuraciones:

• observación y control nativos, sin complementos; • con un módulo añadido de percepción y planificación de movimientos; • con habilidades de manipulación extraídas de los agentes más fuertes.

Con control nativo, incluso el mejor agente tiene éxito en menos de la mitad de los experimentos. En los seis agentes, la mayor parte de los fracasos no se debe al razonamiento, sino a la interacción misma con la instalación: hay que colocar el manipulador en el punto correcto, manejar el instrumento adecuadamente, esperar a que el sistema alcance cierto estado y tomar la lectura. El modelo puede entender qué experimento debe realizar y, aun así, no conseguir llevarlo a término.

Otra observación tiene que ver con lo que realmente ayuda. Las habilidades de manipulación obtenidas de los agentes más fuertes benefician más a los modelos débiles que la incorporación de percepción y planificación de movimientos. El cuello de botella parece estar, por tanto, en los procedimientos operativos bien ajustados, y no tanto en ver mejor la escena o calcular trayectorias.

Para quién es esta prueba

Para los desarrolladores de agentes, EmbodiedLab ofrece una métrica que antes no existía: la capacidad de cerrar el ciclo «hipótesis-acción-observación-conclusión» en un entorno físico. Esta capacidad es justamente la que se espera de la automatización de laboratorios y de los asistentes autónomos en ciencia. Para los equipos que construyen estos sistemas, el resultado señala una prioridad: antes de ampliar las capacidades de razonamiento, conviene invertir en un control fiable de los instrumentos y en bibliotecas de habilidades de manipulación.

El benchmark y el código de evaluación están abiertos en GitHub, en el repositorio HexaFuture/EmbodiedLab, de modo que se pueden ejecutar nuevos modelos y agentes en los mismos 30 experimentos y compararlos con los seis sistemas de referencia. El trabajo se ha publicado en arXiv con el número 2610.35385. La limitación sigue siendo evidente: todo ocurre en simulación, y el traslado a laboratorios reales exigirá una verificación aparte. Pero como diagnóstico de dónde exactamente fallan los agentes encarnados, el conjunto resulta útil.