Agentes com motivação intrínseca DIAYN reproduzem o comportamento da drosófila entre 20 algoritmos testados

Uma mosca que simplesmente vagueia por um labirinto, sem objetivo, na verdade toma decisões com antecedência. Registros de atividade do cérebro inteiro da Drosophila melanogaster mostram que as representações neurais da escolha espontânea de direção surgem mais de 10 segundos antes da curva. O grupo de Aran Nayebi, do NeuroAgents Lab, junto com Declan Kutscher, Reece Keller, Alyn Kirsch e Felix Pei, fez uma pergunta: qual objetivo de treinamento leva um agente de IA ao mesmo comportamento e à mesma dinâmica interna? Eles rodaram 20 algoritmos de motivação intrínseca em uma simulação de mosca. O DIAYN venceu.

A mosca que decide 10 segundos antes da curva

A autonomia dos animais costuma parecer um enigma. Ninguém dá sinais externos à mosca nem promete recompensa, e ainda assim ela explora o espaço, muda de direção e se comporta de forma imprevisível, mas não caótica. O modelo clássico de aprendizado não explica isso: em RL, o agente quase sempre precisa de uma função de recompensa escrita por um humano.

Os autores montaram o experimento em duas partes. A primeira são registros reais do cérebro da mosca, que mostram como a decisão futura é codificada com antecedência. A segunda é um gêmeo digital neuromecânico: um modelo fisicamente realista do corpo da mosca, no qual o agente controla o movimento. A política é hierárquica. O nível superior escolhe de uma biblioteca discreta de primitivas motoras de baixo nível, o que é coerente com as teorias etológicas das "sílabas comportamentais", das quais, segundo se acredita, o comportamento animal é composto.

Vinte maneiras de querer algo sem recompensa

Os agentes foram treinados sem nenhuma recompensa externa. Foram usados 20 algoritmos de motivação intrínseca de três famílias, e é essa diversidade que dá substância ao trabalho: não se compararam duas ou três ideias, mas um espectro inteiro de hipóteses sobre o que move o comportamento autônomo.

• Métodos de curiosidade: o agente busca o que é novo e imprevisível.
• Métodos de entropia: o agente maximiza a diversidade de suas ações ou dos estados que visita.
• Métodos de competência: o agente aprende um conjunto de habilidades que podem ser distinguidas umas das outras de forma confiável.
• Ambiente de avaliação: teste virtual com uma bola sob as patas da mosca (tethered-ball assay), modelado a partir de um experimento real.
• Métricas de comportamento: estatística da locomoção espontânea.
• Métricas cerebrais: representações internas do agente e estrutura da atividade neural.
• Decodificação: a direção da curva futura foi prevista a partir da cinemática e da atividade da rede, nas mesmas escalas de tempo observadas em moscas reais.

Por que o DIAYN venceu

O DIAYN (Diversity Is All You Need) pertence aos métodos de competência. Ele aprende um conjunto discreto de políticas que maximizam a entropia do comportamento e, ao mesmo tempo, tornam as observações geradas por habilidades diferentes fáceis de distinguir. No conjunto da codificação preditiva comportamental e neural, foi o que mais se aproximou das moscas.

Houve também coincidências mais sutis. As políticas aprendidas reproduzem a variabilidade individual das estratégias de exploração: algumas moscas se comportam de um jeito, outras de outro. Os autores interpretam isso como um mecanismo de cobertura do espaço de estados no nível da população. A dispersão entre indivíduos não é ruído, é o modo como a espécie, no conjunto, abrange o maior número possível de variantes. Além disso, a atividade latente do DIAYN repetiu a regra de "soma e diferença" da codificação inter-hemisférica da cinemática, observada no cérebro de moscas reais.

O que isso ensina a quem desenvolve agentes

Para a neurociência, o resultado oferece uma ferramenta de trabalho: um gêmeo digital somado a um conjunto de objetivos internos permite testar hipóteses sobre autonomia no nível das representações neurais, e não só das trajetórias. O código e a página do projeto foram publicados pelo NeuroAgents Lab, então a comparação pode ser reproduzida.

Para a indústria de agentes, a conclusão é mais prática. Uma hierarquia com habilidades discretas e o objetivo de "ser diverso e distinguível" se alinha bem ao que robôs e sistemas autônomos precisam quando não têm uma recompensa rigidamente definida: uma biblioteca de primitivas estáveis com planejamento por cima. O trabalho não trata de um modelo comercial, mas de quais princípios de aprendizado vale incorporar em agentes que terão de explorar o ambiente por conta própria. O referencial biológico aqui não é metáfora: é um ponto de referência mensurável, e agora existe uma forma quantitativa de dizer qual dos objetivos internos é mais realista.