Un agente de código reemplaza al teleoperador: 93 éxitos de 100 frente a 84 con humanos

Para enseñar a un robot, por ejemplo, a abrir un cajón, un operador humano con un mando repite muchas veces los movimientos necesarios y, tras cada fallo, recoloca los objetos a mano. Cada episodio consume tiempo del operador y del propio robot, y con una tarea o una escena nuevas la recopilación de datos empieza de cero. El equipo DAGroup de la Universidad de Pekín ha propuesto el sistema PyRUA-DataFarm («granja de datos»), en el que un agente de código sustituye al operador: a partir de una sola grabación corta de la escena, monta por su cuenta la tarea en el simulador y genera vídeos etiquetados para el entrenamiento.

En cinco tareas reales, el robot entrenado solo con estos datos completó 93 de 100 intentos; el entrenado con el mismo número de episodios de teleoperación, 84. Para quienes recopilan datos para brazos robóticos, es una vía para reducir los costes de operadores y de reconfiguración para tareas nuevas.

Cómo el agente suplanta al operador

La entrada consta solo de dos elementos: una descripción textual de la tarea con la condición de éxito y un episodio de calibración, una grabación corta del robot en la escena deseada, hecha con varias cámaras. Las acciones de esa grabación no se copian. Sirve para saber dónde están las cámaras, qué objetos hay en la escena y qué tamaño tienen.

Después el agente trabaja como un ingeniero. Reconstruye la escena en el simulador, comprueba que este realmente sea capaz de ejecutar las habilidades necesarias (por ejemplo, tirar de un cajón por el asa) y escribe tres cosas: la descripción de la escena, un programa experto que resuelve la tarea y una verificación de éxito. El experto se ejecuta desde múltiples posiciones iniciales, y el simulador devuelve las acciones exactas, los estados de los objetos y los contactos.

Queda el problema de la imagen: la simulación parece una simulación, y un robot entrenado con ella tropieza en el mundo real. Por eso cada ejecución se pasa a un modelo de vídeo, que recibe los fotogramas reales de la grabación de calibración. Este genera un vídeo fotorrealista para todas las cámaras a la vez y conserva la postura de la mano, los objetos y los contactos de la simulación. Un mantel nuevo o una luz de color se definen con un simple prompt de texto.

El control de calidad funciona aparte. Un agente que escribe tanto al experto como la verificación de éxito puede aprobar sus propios errores. Por eso el experto se desarrolla frente a un juez cuyo código no ve y solo se acepta según estados iniciales reservados. Al modelo de vídeo se le permite cambiar el aspecto, pero no la geometría, los objetos ni el timing. Cada episodio terminado se contrasta con la simulación mediante comprobaciones automáticas y un revisor independiente, y solo entonces entra en el conjunto de datos.

Qué mostraron los experimentos

Las pruebas se hicieron en cinco tareas reales con dos brazos y objetos rígidos, articulados y blandos, incluidos una tela y una pantalla. Los robots entrenados solo con datos de la granja lograron 93 éxitos en 100 intentos. Los robots entrenados con el mismo número de episodios de teleoperación lograron 84.

La brecha se acentúa al cambiar las condiciones. Cuando se puso sobre la mesa un mantel desconocido y se encendió una luz de color, las políticas de la granja mantuvieron 87 éxitos, mientras que las entrenadas con teleoperación bajaron a 46. Los autores lo atribuyen a que la granja añade variedad de apariencia alrededor de trayectorias exactas y fijas.

Los fotogramas reales en el modelo de vídeo resultaron críticos: las mismas trayectorias con aleatorización convencional de texturas e iluminación lograron solo 26 y 21 éxitos. Según las estadísticas de imagen, los episodios de la granja están más de dos veces más cerca de los fotogramas reales que el render del propio simulador.

Cuánto cuesta

Adaptar una tarea nueva cuesta de media $21 en API, que se pagan una vez por tarea, más $5 por un contrato de renderizado. Cada episodio posterior cuesta de media $0,80 por simulación, render, nuevo render y verificación, sin contar el robot ni el operador. Con 100 episodios, el coste medio es de $1,06 por episodio. Una hora de datos sincronizados de tres cámaras sale a $107 con todos esos costes. En comparación, la cotización de la teleoperación en China es de $117 por hora, y solo el pago del trabajo en Norteamérica asciende a $290.

Limitaciones y conclusión

La diferencia con la teleoperación china es pequeña: el mayor ahorro aparecerá con grandes volúmenes y cambios frecuentes de tarea, cuando los $26 únicos de configuración se reparten entre muchos episodios. Los precios los calcularon los propios autores y no hay auditoría independiente. Se probaron cinco tareas y todo depende de que el simulador sea capaz de reproducir las habilidades necesarias: en operaciones de contacto con física compleja, esto puede no funcionar. Es un preprint y nadie ha reproducido aún los resultados.

Conclusión práctica: el esquema «el simulador aporta las acciones, el modelo de vídeo aporta la apariencia y un revisor independiente admite los datos» ya es comparable a la teleoperación en calidad y más robusto ante cambios de escena. El código está publicado en GitHub, en el repositorio PyRUA-Lean, rama DataFarm.