Nvidia GR00T 2 enseña a los robots con vídeos de personas: en 50 tareas el éxito pasó del 40 % al 95 %

Imagine que necesita enseñar a un brazo robótico a cortar un plátano. El camino estándar hoy es este: un operador guía el manipulador a mano durante horas mientras el sistema registra cada movimiento. Es la teleoperación. Resulta cara, lenta y está atada a un modelo concreto de robot: si cambia el hardware, hay que recopilar los datos de nuevo. En el informe sobre GR00T 2, Nvidia intenta eliminar de este esquema al operador humano o, al menos, reducir mucho su participación.

Un modelo que dibuja su propio futuro

La versión anterior, GR00T 1, pertenecía a la clase VLA (vision-language-action). Recibía como entrada una imagen de la cámara y una orden de texto, y devolvía señales motoras. GR00T 2 está concebida de otro modo. Nvidia la llama world-action model, o WAM. Calcula a la vez el siguiente movimiento y, mediante difusión, genera un breve vídeo del futuro cercano. Si una mano toma un objeto, el modelo «dibuja» de antemano cómo cambiará el fotograma.

Este pronóstico en vídeo funciona como puente entre la persona y el robot. El modelo se entrenó en un clúster de más de mil chips GB300, entre otros con unas 400 000 horas de vídeo en las que personas realizan distintas tareas con una cámara en la cabeza. Para enseñar algo nuevo al robot, basta con que la persona muestre los pasos con un guante sensorial, un agarre manual especial o un exoesqueleto de dedos. Durante el entrenamiento, estas grabaciones se mezclan con datos generales de movimiento del robot de destino. Después, en su pronóstico en vídeo, el modelo dibuja una mano robótica en lugar de la humana y deduce de esa imagen los comandos de control adecuados.

Dicho de forma sencilla: miró cómo lo hace una persona, se puso mentalmente en su lugar y calculó qué motores debía mover.

Qué mostraron las pruebas

Un robot con manos de cinco dedos encendió una cerilla, cortó un plátano y lanzó paquetes a una cinta transportadora. No hubo teleoperación específica para estas tareas. Pero el éxito osciló entre el 10 y el 80 % según la tarea, y un 10 % sigue siendo una demostración, no un producto. El sistema aprendió a clavar clavos a partir de un solo vídeo con una mano humana, y lo hizo mediante simulación por ordenador.

La cifra más sólida se refiere al ajuste fino. En 50 tareas seleccionadas, en las que el modelo ya tras unos pocos ejemplos se desenvolvía bastante bien, menos de tres minutos de entrenamiento convencional elevaron el éxito del 40 al 95 %. Una salvedad importante: las tareas se eligieron entre las que ya iban bien, así que esa cifra no puede extrapolarse a cualquier trabajo.

Para operaciones largas de ensamblaje, Nvidia coloca sobre GR00T 2 un modelo de lenguaje, por ejemplo GPT-6 Astra de OpenAI. GR00T se encarga del agarre y los movimientos. El modelo de lenguaje divide la tarea en pasos, marca los puntos de agarre en la imagen y lanza procedimientos auxiliares si se cae una pieza. Las piezas de los modelos de juguete estaban mezcladas sobre la mesa, y la combinación las ensambló en al menos el 97 % de los intentos. Sin el modelo de lenguaje corrector y sin ajuste fino, el montaje de un cochecito de juguete solo salió 23 veces de cada 100.

Para los robots bípedos existe una versión ligera, GR00T 2 Turbo, que procesa menos detalles de la imagen. Funciona directamente en el ordenador de a bordo Jetson Thor del humanoide. Un robot así sacó palomitas con un cucharón, limpió mesas y secó un líquido con una toalla bajo el pie. Lo último salió en algo menos de la mitad de los intentos.

Dónde sigue sin funcionar

Los propios autores enumeran las barreras para un funcionamiento fiable en el mundo real. El modelo aún no procesa datos directos de sensores táctiles y a veces pasa por alto errores sutiles, como un tornillo que no está del todo apretado. El planificador basado en un modelo de lenguaje ralentiza mucho el sistema. Al clasificar basura, el robot estuvo parado aproximadamente un tercio del tiempo: de media esperaba más de siete segundos el siguiente cálculo del planificador.

Qué implica esto para los profesionales

El cambio principal no está en los récords, sino en la economía de los datos. Si los vídeos de personas y los guantes baratos sustituyen parte de la teleoperación, el principal gasto de la robótica deja de estar atado a un hardware concreto. Para los fundadores, es un motivo para calcular de otra manera el coste de recopilar demostraciones.

Para los desarrolladores, es un motivo para fijarse en el esquema «modelo de acciones más planificador LLM independiente» e incluir desde el principio la latencia del planificador en el presupuesto de velocidad. Y los responsables de producto deben recordar: las cifras del 10–80 % y el 23 % sin planificador son de laboratorio. Aún queda mucho para llegar a escenarios fiables en una planta o en un almacén, sobre todo donde hay que sentir la fuerza y el tacto.