El equipo de Tsinghua lanza HandsOn: 66 tareas para medir la destreza de los robots

El equipo de la Universidad de Tsinghua ha presentado HandsOn, un benchmark para robots con manos diestras. Incluye 66 tareas que ponen a prueba la manipulación bimanual con manos multidedo. El motivo es el volumen creciente de grabaciones de acciones humanas en primera persona: agarres, uso de herramientas, contacto fino. La mano de un robot tiene una estructura similar a la humana, por lo que estos datos sirven para entrenarla. Las pruebas anteriores se construían en torno a agarres simples y no eran adecuadas para ese fin. • Se evalúan el agarre, las herramientas y los contactos precisos • La prueba está diseñada para dos manos a la vez • Fuente: Jiqizhixin

Procesado por IA desde Jiqizhixin (机器之心); editado por Hamidun News
El equipo de Tsinghua lanza HandsOn: 66 tareas para medir la destreza de los robots
Fuente: Jiqizhixin (机器之心). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalJiqizhixin (机器之心) ↗
Editor jefe
Dato clave #1Se evalúan el agarre, las herramientas y los contactos precisos
Dato clave #2La prueba está diseñada para dos manos a la vez
FuenteJiqizhixin

Investigadores de la Universidad de Tsinghua han publicado HandsOn, un benchmark para evaluar la manipulación diestra en robots. Incluye 66 tareas que comprueban cómo se desenvuelve una máquina con dos manos multidedo a la vez: desde el agarre y el transporte de objetos hasta el uso de herramientas y los contactos delicados. Los autores parten de una premisa sencilla: es hora de reescribir las «preguntas de examen» de la mano robótica, porque las antiguas están pensadas para otro tipo de hardware.

Por qué los viejos tests han dejado de funcionar

Durante décadas, la mayoría de los benchmarks de manipulación populares se han construido en torno a pinzas paralelas, es decir, dos «mordazas» que aprietan un objeto. Con esa mecánica, el conjunto de tareas es evidente: tomar, trasladar, insertar, pulsar. Aparte de la precisión de posicionamiento y la secuencia de acciones, apenas hay nada que evaluar.

Una mano multidedo funciona de otro modo. Tiene decenas de grados de libertad, los dedos pueden moverse de forma independiente y un mismo objeto se puede sostener de muchas maneras. Una prueba que se reduce a «agarrar y colocar» no muestra si el robot sabe reajustar un objeto dentro de la palma, usar un destornillador o sujetar con una mano, con cuidado, aquello en lo que trabaja la otra. HandsOn cubre ese hueco y pone en el centro precisamente el trabajo con dos manos.

Los datos egocéntricos como combustible para las manos diestras

La segunda razón de ser del benchmark tiene que ver con los datos. Cada vez hay más grabaciones de acciones humanas en primera persona: cámaras montadas en la cabeza o en gafas registran cómo las personas cogen objetos, usan herramientas y realizan acciones de contacto precisas. Estos conjuntos de datos muestran algo difícil de obtener de otra forma: la motricidad fina natural en situaciones domésticas y laborales.

Para la pinza paralela, estos datos sirven poco: hay que simplificar mucho los movimientos de la mano humana. La mano diestra se parece a la humana en su estructura, y las anotaciones de «cómo lo hace una persona» se pueden transferir al robot con muchas menos pérdidas. De ahí la lógica de los autores: si la industria quiere entrenar robots con vídeo egocéntrico, necesita un sistema común para medir los resultados; de lo contrario, será imposible comparar enfoques.

Lo que se sabe de HandsOn:

  • 66 tareas en un único conjunto;
  • el foco está en las manos diestras multidedo, no en las pinzas paralelas;
  • los escenarios bimanuales son un objeto de evaluación independiente;
  • categorías de acciones: agarre, uso de herramientas, contacto fino;
  • desarrollador: el grupo de investigación de la Universidad de Tsinghua.

A quién le resultará útil en la práctica

Los primeros usuarios del benchmark serán los equipos que desarrollan políticas de control para humanoides y manipuladores con manos diestras. Un conjunto único de tareas permite comparar los modelos entrenados con vídeo humano con los enfoques basados en teleoperación y en simulación, sin tener que inventar cada vez escenas propias. Para los fabricantes de hardware, es una oportunidad de ver dónde el diseño de los dedos o de los sensores táctiles se convierte en un cuello de botella.

Hay además un efecto más terrenal. Mientras las manos diestras no tengan una prueba comúnmente aceptada, cualquier afirmación sobre «destreza humana» seguirá siendo una demostración en vídeos bien elegidos. Un conjunto estandarizado de 66 tareas encarece ese tipo de afirmaciones: el resultado se reproduce en tareas comunes o no se reproduce. Para inversores y clientes que deben elegir entre distintas plataformas, es una de las pocas formas de distinguir el progreso real de un vídeo bien montado.

El éxito de HandsOn dependerá de que otros laboratorios lo adopten. Si el benchmark se consolida, puede llegar a ser para las manos diestras lo que fueron para la manipulación con pinzas los conjuntos estándar anteriores: un lenguaje común con el que comparar modelos.

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué los viejos tests han dejado de funcionar?

Durante décadas, la mayoría de los benchmarks de manipulación populares se han construido en torno a pinzas paralelas, es decir, dos «mordazas» que aprietan un objeto. Con esa mecánica, el conjunto de tareas es evidente: tomar, trasladar, insertar, pulsar. Aparte de la precisión de posicionamiento y la secuencia de acciones, apenas hay nada que evaluar. Una mano multidedo funciona de otro modo. Tiene decenas de grados de libertad, los dedos pueden moverse de forma independiente y un mismo objeto se puede sostener de muchas maneras. Una prueba que se reduce a «agarrar y colo

¿Qué se sabe sobre Los datos egocéntricos como combustible para las manos diestras?

La segunda razón de ser del benchmark tiene que ver con los datos. Cada vez hay más grabaciones de acciones humanas en primera persona: cámaras montadas en la cabeza o en gafas registran cómo las personas cogen objetos, usan herramientas y realizan acciones de contacto precisas. Estos conjuntos de datos muestran algo difícil de obtener de otra forma: la motricidad fina natural en situaciones domésticas y laborales. Para la pinza paralela, estos datos sirven poco: hay que simplificar mucho los movimientos de la mano humana. La mano diestra se parece a la humana en su estruct

¿Qué se sabe sobre A quién le resultará útil en la práctica?

Los primeros usuarios del benchmark serán los equipos que desarrollan políticas de control para humanoides y manipuladores con manos diestras. Un conjunto único de tareas permite comparar los modelos entrenados con vídeo humano con los enfoques basados en teleoperación y en simulación, sin tener que inventar cada vez escenas propias. Para los fabricantes de hardware, es una oportunidad de ver dónde el diseño de los dedos o de los sensores táctiles se convierte en un cuello de botella. Hay además un efecto más terrenal. Mientras las manos diestras no tengan una prueba comúnm

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace

Access Frontier LLMs & Multimodal AI in One Workspace

Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.

Try NomadNet AI →Launch NomadNet Agent
¿Qué te parece?
Cargando comentarios…