Des agents à motivation intrinsèque reproduisent le comportement de la drosophile : DIAYN l'emporte sur 20 algorithmes

Une mouche qui erre dans un labyrinthe sans but précis prend en réalité ses décisions à l'avance. Les enregistrements de l'activité de tout le cerveau de Drosophila melanogaster montrent que les représentations neuronales d'un choix spontané de direction apparaissent plus de 10 secondes avant le virage lui-même. Le groupe d'Aran Nayebi, au NeuroAgents Lab, avec Declan Kutscher, Reece Keller, Alyn Kirsch et Felix Pei, s'est posé la question suivante : quel objectif d'apprentissage donne à un agent d'IA le même comportement et la même dynamique interne ? Les chercheurs ont fait tourner 20 algorithmes de motivation intrinsèque dans une simulation de mouche. DIAYN l'a emporté.

La mouche qui décide 10 secondes avant de tourner

L'autonomie animale ressemble souvent à une énigme. Personne n'envoie de signaux externes à la mouche ni ne lui promet de récompense, et pourtant elle explore l'espace, change de direction et se comporte de façon imprévisible, mais pas chaotique. Le modèle classique d'apprentissage ne l'explique pas : en RL, l'agent a presque toujours besoin d'une fonction de récompense écrite par un humain.

Les auteurs ont construit l'expérience en deux volets. Le premier repose sur de vrais enregistrements du cerveau de la mouche, où l'on voit la décision future se coder à l'avance. Le second est un jumeau numérique neuromécanique : un modèle physiquement réaliste du corps de la mouche, dans lequel l'agent pilote le mouvement. La politique est hiérarchique. Le niveau supérieur choisit dans une bibliothèque discrète de primitives motrices de bas niveau, ce qui concorde avec les théories éthologiques des « syllabes comportementales », dont on considère que se compose le comportement animal.

Vingt façons de désirer quelque chose sans récompense

Les agents ont été entraînés sans aucune récompense externe. Les chercheurs ont utilisé 20 algorithmes de motivation intrinsèque issus de trois familles, et c'est cette diversité qui donne de la substance au travail : la comparaison ne porte pas sur deux ou trois idées, mais sur tout un spectre d'hypothèses quant à ce qui motive le comportement autonome.

• Méthodes de curiosité : l'agent recherche la nouveauté et l'imprévisible.
• Méthodes d'entropie : l'agent maximise la diversité de ses actions ou des états qu'il visite.
• Méthodes de compétence : l'agent apprend un ensemble de compétences qui peuvent être distinguées de façon fiable les unes des autres.
• Environnement d'évaluation : un test virtuel avec une balle sous les pattes de la mouche (tethered-ball assay), modélisé d'après une expérience réelle.
• Métriques de comportement : statistique de la locomotion spontanée.
• Métriques cérébrales : représentations internes de l'agent et structure de l'activité neuronale.
• Décodage : la direction du futur virage était prédite à partir de la cinématique et de l'activité du réseau, aux mêmes échelles de temps que chez les vraies mouches.

Pourquoi DIAYN l'a emporté

DIAYN (Diversity Is All You Need) appartient aux méthodes de compétence. Il apprend un ensemble discret de politiques qui maximisent l'entropie du comportement et rendent en même temps facilement distinguables les observations engendrées par les différentes compétences. Sur l'ensemble du codage prédictif, comportemental et neuronal, c'est lui qui s'est le plus rapproché des mouches.

Il présente aussi des correspondances plus fines. Les politiques apprises reproduisent la variabilité individuelle des stratégies d'exploration : certaines mouches se comportent d'une manière, d'autres d'une autre. Les auteurs y voient un mécanisme de couverture de l'espace d'états à l'échelle de la population. La dispersion entre individus n'est pas du bruit : c'est la manière dont l'espèce, dans son ensemble, couvre le plus grand nombre d'options possible. Par ailleurs, l'activité latente de DIAYN a reproduit la règle « somme-différence » du codage interhémisphérique de la cinématique, observée dans le cerveau de vraies mouches.

Ce que cela enseigne aux développeurs d'agents

Pour les neurosciences, le résultat fournit un outil de travail : un jumeau numérique associé à un ensemble d'objectifs internes permet de tester des hypothèses sur l'autonomie au niveau des représentations neuronales, et pas seulement des trajectoires. Le code et la page du projet sont publiés par le NeuroAgents Lab, la comparaison peut donc être reproduite.

Pour l'industrie des agents, la leçon est plus concrète. Une hiérarchie de compétences discrètes, avec pour objectif d'être « divers et distinguable », correspond bien à ce dont ont besoin les robots et les systèmes autonomes sans récompense fixée de façon rigide : une bibliothèque de primitives stables, avec de la planification par-dessus. Ce travail ne porte pas sur un modèle commercial, mais sur les principes d'apprentissage qu'il vaut la peine d'intégrer à des agents appelés à explorer seuls leur environnement. Le repère biologique n'est pas ici une métaphore, mais un point de référence mesurable : on dispose désormais d'un moyen quantitatif de dire lequel des objectifs internes est le plus réaliste.