LIBERO-Industry evalúa 5 políticas robóticas en 216 tareas de fábrica

Los autores de LIBERO-Industry reunieron 216 tareas que ponen a prueba políticas robóticas generalistas en condiciones de línea de montaje: cinta transportadora en movimiento, ventana de acción limitada y tolerancias geométricas estrictas. Los cinco modelos evaluados, entre ellos vision-language-action y world-action, pierden calidad a medida que las restricciones se añaden y se superponen. El benchmark se construye sobre el popular LIBERO y responde a una pregunta que las pruebas de laboratorio esquivaban: qué ocurre cuando el producto cambia y la cinta no se detiene.

Dónde fallan las evaluaciones habituales

La fabricación flexible, en particular el montaje electrónico en formato high-mix, low-volume (HMLV), vive en un régimen de cambio constante. Los lotes son pequeños, las variantes de producto se suceden y las condiciones en la línea fluctúan. Aquí el robot debe adaptarse, no repetir una única trayectoria memorizada. Los autores señalan una laguna: los marcos de evaluación existentes no recogen de forma sistemática las restricciones industriales cuando se trata de políticas generalistas. Un modelo puede rendir con solvencia en tareas estándar de sobremesa sin haberse enfrentado nunca a una cinta que se lleva la pieza en cuestión de segundos.

LIBERO-Industry traduce esas restricciones en condiciones de tarea controlables y criterios de éxito medibles. Cada factor se puede ajustar por separado o en combinación con otros.

Cómo está diseñado el benchmark

El conjunto consta de tres escenarios clásicos de producción. Se distinguen por qué lado de la operación se mueve: el origen, el destino o ambos.

• Static-to-Dynamic (S2D): carga; el objeto se toma de una posición estática y se envía a un flujo en movimiento.
• Dynamic-to-Static (D2S): descarga; el objeto se retira de un flujo en movimiento y se deja en un punto estático.
• Dynamic-to-Dynamic (D2D): transferencia entre dos flujos en movimiento.
• En total, 216 tareas.
• Parámetros que varían: geometría del objeto, velocidad de la cinta, duración de la ventana de interacción y tamaño de la zona geométrica admisible.
• Se evaluaron cinco políticas generalistas, entre ellas modelos VLA y modelos world-action.

Los parámetros se eligieron para reproducir los requisitos reales de una línea. Una ventana de interacción corta significa que la política dispone de poco tiempo para el agarre. Una zona admisible pequeña significa que un acierto aproximado ya cuenta como pieza defectuosa. Una cinta rápida combina ambas presiones.

Qué mostraron los experimentos

El resultado principal es predecible en su dirección, pero útil por su estructura: la calidad de las políticas disminuye gradualmente a medida que se introducen restricciones industriales, y aún más cuando se combinan. La degradación no se produce de golpe con un solo factor. Las restricciones se acumulan, y son precisamente las combinaciones las que resultan más duras. Para los equipos que eligen un modelo para su línea, esto pesa más que la puntuación media en un conjunto clásico.

La segunda conclusión atañe al entrenamiento. Con un protocolo único de ajuste fino y evaluación, la condición de co-training con datos de LIBERO-Industry logró una tasa observada de transferencia completada del objeto objetivo más alta que la condición con el LIBERO original. El texto del resumen no ofrece cifras exactas, así que no es posible estimar la magnitud de la mejora a partir de él.

Hay además una salvedad: LIBERO sigue siendo un benchmark de simulación, y aquí no se demuestra que los resultados se trasladen a hardware real con cintas transportadoras auténticas. Por otra parte, es esperable que entrenar con datos cercanos a los de la prueba mejore el resultado. Lo más interesante es otra cosa: a la mezcla de entrenamiento hay que añadirle datos específicos sobre dinámica y tolerancias, y no solo sobre variedad de objetos e instrucciones.

Conclusiones prácticas

Si evalúa una política robótica para producción, no se limite al éxito en tareas estáticas. Pruébela por separado en los ejes de velocidad del flujo, duración de la ventana y tamaño de la tolerancia, y después en combinaciones: el punto débil suele aparecer en la intersección de los factores. Los desarrolladores deberían incluir en los datasets de ajuste fino escenas con objetos en movimiento y tolerancias estrechas, en lugar de confiar en que la generalización a partir de datos de sobremesa funcione por sí sola. Por último, las cifras obtenidas en simulación deben considerarse un límite inferior de los requisitos de validación. La verificación en una línea real, con variantes reales de producto, sigue siendo obligatoria.