DIAYN, entre 20 algoritmos de motivación intrínseca, es el que replicó el comportamiento de la mosca Drosophila

Una mosca que deambula por un laberinto sin ningún objetivo toma, en realidad, sus decisiones con antelación. Los registros de actividad de todo el cerebro de Drosophila melanogaster muestran que las representaciones neuronales de una elección espontánea de dirección aparecen más de 10 segundos antes del giro. El grupo de Aran Nayebi en NeuroAgents Lab, junto con Declan Kutscher, Reece Keller, Alyn Kirsch y Felix Pei, se planteó una pregunta: ¿qué objetivo de entrenamiento lleva a un agente de IA al mismo comportamiento y a la misma dinámica interna? Ejecutaron 20 algoritmos de motivación intrínseca en una simulación de mosca. Ganó DIAYN.

Una mosca que decide 10 segundos antes de girar

La autonomía animal suele parecer un enigma. Nadie da a la mosca señales externas ni le promete recompensas, y aun así explora el espacio, cambia de dirección y se comporta de forma impredecible, pero no caótica. Los modelos clásicos de aprendizaje no lo explican: en RL, el agente casi siempre necesita una función de recompensa escrita por una persona.

Los autores montaron el experimento en dos partes. La primera son registros reales del cerebro de la mosca, en los que se ve cómo la decisión futura se codifica con antelación. La segunda es un gemelo digital neuromecánico: un modelo del cuerpo de la mosca con física realista, en el que el agente controla el movimiento. La política es jerárquica. El nivel superior elige de una biblioteca discreta de primitivas motoras de bajo nivel, lo que concuerda con las teorías etológicas de las «sílabas conductuales», a partir de las cuales, según se considera, se construye el comportamiento animal.

Veinte maneras de querer algo sin recompensa

Los agentes se entrenaron sin ninguna recompensa externa. Se usaron 20 algoritmos de motivación intrínseca de tres familias, y esa variedad es lo que da sustancia al trabajo: no se compararon dos o tres ideas, sino todo un espectro de hipótesis sobre lo que impulsa el comportamiento autónomo.

• Métodos de curiosidad: el agente busca lo nuevo y lo impredecible.
• Métodos de entropía: el agente maximiza la diversidad de sus acciones o de los estados que visita.
• Métodos de competencia: el agente aprende un conjunto de habilidades que se pueden distinguir entre sí de forma fiable.
• Entorno de evaluación: una prueba virtual con una bola bajo las patas de la mosca (tethered-ball assay), modelada a partir de un experimento real.
• Métricas de comportamiento: estadística de la locomoción espontánea.
• Métricas cerebrales: representaciones internas del agente y estructura de la actividad neuronal.
• Decodificación: la dirección del giro futuro se predijo a partir de la cinemática y de la actividad de la red, en las mismas escalas temporales que en las moscas reales.

Por qué ganó DIAYN

DIAYN (Diversity Is All You Need) pertenece a los métodos de competencia. Aprende un conjunto discreto de políticas que maximizan la entropía del comportamiento y, al mismo tiempo, hacen que las observaciones generadas por cada habilidad sean fáciles de distinguir. Por el conjunto de la codificación predictiva, tanto conductual como neuronal, fue el que más se acercó a las moscas.

También mostró coincidencias más sutiles. Las políticas aprendidas reproducen la variabilidad individual de las estrategias de exploración: unas moscas se comportan de una manera y otras de otra. Los autores interpretan esto como un mecanismo de cobertura del espacio de estados a nivel de población. La dispersión entre individuos no es ruido, sino la forma en que la especie en su conjunto abarca el mayor número posible de variantes. Además, la actividad latente de DIAYN repitió la regla de «suma-diferencia» de la codificación interhemisférica de la cinemática, que se observa en el cerebro de las moscas reales.

Qué enseña esto a quienes desarrollan agentes

Para la neurociencia, el resultado aporta una herramienta práctica: un gemelo digital junto con un conjunto de objetivos internos permite contrastar hipótesis sobre la autonomía al nivel de las representaciones neuronales, y no solo de las trayectorias. El código y la página del proyecto están publicados por NeuroAgents Lab, así que la comparación se puede reproducir.

Para la industria de los agentes, la conclusión es más aplicada. Una jerarquía con habilidades discretas y el objetivo de «ser diverso y distinguible» encaja bien con lo que necesitan los robots y los sistemas autónomos sin una recompensa rígidamente definida: una biblioteca de primitivas estables con planificación por encima. El trabajo no trata de un modelo comercial, sino de qué principios de aprendizaje conviene incorporar a agentes que tendrán que explorar el entorno por sí mismos. El referente biológico aquí no es una metáfora, sino un punto de referencia medible: ahora existe una forma cuantitativa de decir cuál de los objetivos internos es más realista.