Revisión: los robots aprenden a mejorar su propio proceso de aprendizaje, pero aún faltan pruebas

La idea de la automejora recursiva (RSI, por sus siglas en inglés) es la siguiente: el sistema no solo aprende a realizar mejor una tarea, sino que aprende a aprender mejor. Los agentes digitales ya se acercan a ello: reescriben su propio código y comprueban cada versión con pruebas ejecutables. Los autores de una nueva revisión publicada en Hugging Face Daily Papers se preguntan qué ocurre si se lleva ese mismo mecanismo al mundo físico, donde las pruebas cuestan tiempo, hardware y, en ocasiones, averías irreversibles.

Su respuesta consta de cuatro condiciones para que las mejoras del robot no se diluyan, sino que se acumulen, y de una observación incómoda: en los estudios físicos aún no se ha logrado separar la contribución de la recursión como tal del aprendizaje convencional.

El precio del error en el hardware

En un agente de software, el ciclo es sencillo. Modifica el código, lanza las pruebas, ve el resultado y se queda con la mejor versión. Revertir un cambio lleva segundos y la observabilidad es casi total.

En un robot, todo es distinto. Trabaja con observaciones parciales: las cámaras y los sensores muestran solo un fragmento de la realidad. Cada intento sale caro, porque exige tiempo, un operador, restablecer la escena y desgaste mecánico. Las condiciones cambian: la iluminación, la fricción, el comportamiento de los objetos, el estado de los propios actuadores. Y las consecuencias de un error pueden ser irreversibles, desde una taza rota hasta un manipulador averiado. Por eso el traslado directo del esquema «me reescribo y compruebo» no funciona. Los autores sitúan la RSI dentro del aprendizaje robótico y trazan el camino que va de mejorar las capacidades del robot a mejorar los procesos que generan esas capacidades.

Cuatro condiciones para que la ganancia no se pierda

La parte central del trabajo define cuándo una mejora realmente avanza y ayuda a perfeccionar el propio mecanismo de mejora. Según los autores, la ganancia se transfiere solo cuando coinciden cuatro factores:

• la retroalimentación responde a lo que al sistema aún le falta para aprender, y no a lo que ya sabe hacer;
• el componente que recibe el cambio es capaz de aprovecharlo;
• el valor de la mejora se mantiene al cambiar de tarea o de plataforma de hardware;
• la práctica posterior sigue siendo segura y asequible.

Es una lista de comprobación muy útil. Una política de control mejorada no sirve de nada si la siguiente etapa de aprendizaje no sabe utilizarla. Una habilidad atada a un brazo concreto pierde sentido al cambiar de manipulador. Y un esquema que requiere miles de intentos arriesgados choca con el presupuesto y la seguridad antes que con los algoritmos.

Lo que ya se ha demostrado en manipulación

Los trabajos existentes se centran sobre todo en la manipulación, es decir, en agarrar y mover objetos. Confirman tres cosas: el comportamiento del robot mejora de verdad, la experiencia acumulada facilita el aprendizaje posterior y los propios procedimientos de aprendizaje también se pueden mejorar. Algunos sistemas van más lejos y modifican el conocimiento o las herramientas del propio «mejorador».

Pero los autores señalan sin rodeos la principal laguna. Entre los estudios físicos analizados todavía no hay ninguno en el que el avance pueda atribuirse de forma inequívoca a la recursión. El robot mejora, pero no está claro si es porque ha perfeccionado su forma de mejorar o simplemente porque ha acumulado más datos e intentos. Para la industria es una distinción importante: sin ella, cualquier afirmación sobre un «robot que se automejora» sigue siendo marketing.

Cómo verificar las afirmaciones sobre robots que se automejoran

De la revisión se desprenden principios de evaluación que serán útiles tanto para desarrolladores e inversores como para quienes leen anuncios grandilocuentes.

Primero: exigir ablaciones. Si un sistema supuestamente mejora su proceso de aprendizaje, hace falta compararlo con una versión en la que ese proceso esté congelado, con el mismo número de intentos físicos. Segundo: fijarse en la transferibilidad. Una ganancia que se mantiene solo en una tarea y en una plataforma dice poco sobre la recursión. Tercero: contar el coste total de la práctica, incluidos el tiempo de los operadores, el desgaste del equipo y las medidas de seguridad. Cuarto: comprobar qué cambia exactamente el sistema. Las modificaciones de la política de control, del procedimiento de recogida de datos, del conocimiento o de las herramientas del mejorador producen niveles distintos de recursión, y no deben mezclarse.

Para los equipos que construyen robots de propósito general, esto es además una hoja de ruta. El camino más corto hacia una RSI real, a juzgar por la revisión, no pasa por modelos más potentes, sino por un bucle de retroalimentación barato y seguro que señale con precisión las lagunas del aprendizaje. Quien construya primero ese bucle y demuestre su contribución con una ablación rigurosa tendrá máquinas que, de intento en intento, aprenden a aprender, en lugar de limitarse a acumular experiencia.