Los robots aprenden con 20 854 horas de vídeo: cómo Sharpa construye la manipulación diestra

Los datos para robots se encarecen más rápido de lo que crecen los modelos, y la industria busca una salida. El equipo de EgoScale, que incluye investigadores de NVIDIA, preentrenó una política robótica con 20 854 horas de vídeo en primera persona en el que actúan personas. Registraron una relación loglineal: a más horas, mejor resultado, y además la mejora es predecible. En este contexto, el medio chino Jiqizhixin analiza el enfoque de Sharpa, que desarrolla la manipulación diestra como un sistema único de tres capas: hardware, datos y modelo.

Una salvedad importante: en el fragmento disponible del material no hay benchmarks propios de Sharpa, por lo que a continuación se analizan el contexto y la lógica del enfoque, no cifras verificadas.

Por qué los datos se alejan de la teleoperación

Hace apenas un año, la principal fuente de trayectorias de entrenamiento para manipuladores era la teleoperación: un operador con casco de VR o con guante controla el robot y el sistema registra sus acciones. El método genera datos limpios en el formato «nativo» del robot, pero tiene tres puntos débiles. Es caro, porque exige un operador, una flota de robots y un espacio de trabajo. Es lento: una hora de grabación ocupa exactamente una hora de tiempo real. Y escala mal geográficamente, ya que cada escena nueva requiere presencia física.

El vídeo de personas funciona de otro modo. Una persona con una cámara en la cabeza puede filmar la vida cotidiana, la cocina, el montaje y cualquier tarea de motricidad fina sin un robot a su lado. De ahí la escala de EgoScale. Trabajos como HumanScale, según se desprende del anuncio de Jiqizhixin, van más allá y consideran que el vídeo puede convertirse en la principal fuente de datos.

Dónde entra el hardware

El vídeo tiene un coste: la brecha entre el cuerpo humano y el del robot. La mano humana tiene decenas de grados de libertad y sensibilidad táctil. Una pinza de dos dedos no puede reproducir lo que se ve en el vídeo. Cuanto más se acerque la cinemática de la mano del robot a la humana, menos se pierde al trasladar el movimiento del clip a la política de control.

Por eso la manipulación diestra no se divide bien en dos tareas independientes, «fabricar la mano» y «entrenar el modelo». El diseño de la mano determina qué datos se pueden usar. El formato de los datos determina la arquitectura del modelo. Y el modelo, a su vez, impone requisitos a los sensores. El título del material de Jiqizhixin indica que Sharpa intenta recorrer toda esta cadena, en lugar de optimizar un solo eslabón.

Puntos de referencia clave

• Volumen de preentrenamiento de EgoScale: 20 854 horas de vídeo egocéntrico de personas.
• Patrón observado: una curva loglineal entre el volumen de datos y la calidad de la política.
• Cuello de botella de la teleoperación: coste, velocidad de grabación y dificultad para escalar.
• Enfoque de Sharpa: una cadena «hardware – datos – modelo» para la manipulación diestra.
• Pregunta abierta: en el fragmento del material no hay métricas públicas comparables de Sharpa.

Qué conviene vigilar

Una curva loglineal implica rendimientos decrecientes: cada duplicación de los datos aporta aproximadamente la misma mejora. Para los desarrolladores, es una señal práctica que ayuda a planificar con antelación el presupuesto de datos. Para los equipos que construyen sus propias manos y manipuladores, la conclusión es otra: la compatibilidad de la cinemática con la humana se convierte en una ventaja competitiva, porque abre el acceso a enormes colecciones de vídeo.

Al evaluar sistemas de este tipo conviene comprobar tres cosas. Primera: en qué tareas se mide el éxito y si entre ellas hay operaciones largas con objetos pequeños. Segunda: qué proporción de los datos corresponde a vídeo y cuál a teleoperación para el ajuste posterior. Tercera: si los resultados se reproducen en otras plataformas, y no solo en la mano «nativa» de los autores. Mientras no haya respuestas públicas a estas preguntas, las declaraciones sobre un enfoque sistémico siguen siendo una propuesta, no un resultado demostrado.