Una revisión de 200 trabajos sistematiza el aprendizaje de affordances en la IA corpórea

Un grupo de investigadores reunió en una sola revisión casi 200 trabajos sobre el aprendizaje de affordances en la inteligencia corpórea. Lo informa Jiqizhixin. El tema se sitúa en la brecha entre la frase «el modelo ve una taza» y la acción «el manipulador la agarra por el asa». El affordance responde a tres preguntas: qué se puede tocar en la escena, en qué punto hacerlo y de qué manera.

La brecha entre entender la escena y actuar

En los últimos años la robótica ha ganado varias herramientas potentes a la vez: los modelos visión-lenguaje-acción (VLA), los modelos del mundo, los modelos fundacionales multimodales y las promesas de robots universales. Las máquinas ya interpretan instrucciones complejas y generan trayectorias continuas en un número creciente de tareas.

Pero reconocer un objeto no dice por qué parte hay que cogerlo. El asa de una olla y su tapa pertenecen a la misma clase, «olla», y las acciones que admiten son distintas. Un cuchillo tiene un lado seguro y otro cortante. Los autores de la revisión, a juzgar por la introducción, ven aquí el problema clave sin resolver: el robot no solo debe saber qué tiene delante, sino también entender qué puede utilizar en la práctica, dónde aplicar fuerza y cómo.

Qué es un affordance en la práctica

El término lo introdujo el psicólogo James Gibson en 1979: un affordance es la posibilidad de acción que el entorno ofrece a un agente concreto. En robótica se convierte en una representación que se puede entrenar y pasar a un planificador o a una política.

A continuación se enumeran las formas típicas de esta representación en el campo. Es un panorama general de la línea de investigación, no un resumen de la taxonomía de la revisión: el fragmento disponible no la incluye.

• Nivel de objeto: qué objetos son aptos para una acción (la tetera, para verter; la puerta, para abrir).
• Nivel espacial: un punto, una máscara o un mapa de calor sobre la imagen, o una región tridimensional en una nube de puntos.
• Nivel de interacción: poses de agarre, dirección de la fuerza, trayectoria del movimiento.
• Nivel semántico: el vínculo entre una orden en lenguaje natural y una parte del objeto («abrir el cajón» lleva al tirador).
• Fuentes de aprendizaje: anotación manual, vídeos de acciones humanas, simulación, indicaciones de VLM y LLM.
• Alcance de la revisión: cerca de 200 trabajos.

Por qué el tema ha pasado a primer plano

Los affordances llegaron a la robótica mucho antes del auge actual. En SayCan (2022), un modelo de lenguaje proponía los pasos y las estimaciones de viabilidad de las habilidades descartaban lo que el robot no podía ejecutar en el entorno del momento. Los modelos VLA de extremo a extremo, como RT-2, OpenVLA y π0, siguen otro camino: aprenden directamente a producir acciones a partir de una imagen y un texto.

El affordance explícito como capa intermedia tiene argumentos claros a su favor. Se puede visualizar y verificar. Según muchos en el campo, ayuda a transferir habilidades entre objetos y diseños de robot distintos. Y ofrece un punto al que anclar la geometría y la física. Si eso basta frente al aprendizaje de extremo a extremo con grandes volúmenes de demostraciones es una cuestión abierta. Una buena revisión sirve precisamente para ver dónde convergen los enfoques y dónde compiten.

Cómo usar la revisión

El fragmento disponible solo contiene el planteamiento del problema, por lo que es pronto para juzgar la clasificación, los benchmarks y las conclusiones de los autores. Hay que leer el original.

Los equipos que construyen sistemas de manipulación deberían revisar tres cosas:

• Qué representación de affordance se ajusta a su tarea: punto y máscara para manipulación sobre una mesa, o pose y trayectoria para operaciones finas.
• Cómo se mide la calidad. La precisión de localización de la región y el éxito real de la acción en el robot dan imágenes distintas, y elegir según una sola métrica es arriesgado.
• De dónde salen los datos. Los vídeos de personas escalan a bajo coste, pero la transferibilidad a la mano concreta del robot y la brecha entre simulación y realidad habrá que comprobarlas por separado.

Para quienes se acercan al tema por primera vez, una revisión así ahorra semanas de búsqueda: muestra qué tareas están ya resueltas y dónde siguen abiertas las brechas de la IA corpórea entre la percepción y la acción.