Агенты с внутренней мотивацией DIAYN повторили поведение дрозофилы из 20 алгоритмов

Муха, которая просто бродит по лабиринту без цели, на самом деле принимает решения заранее. Записи активности всего мозга Drosophila melanogaster показывают, что нейронные представления спонтанного выбора направления появляются более чем за 10 секунд до самого поворота. Группа Аrана Найеби из NeuroAgents Lab вместе с Declan Kutscher, Reece Keller, Alyn Kirsch и Felix Pei задалась вопросом: какая цель обучения у ИИ-агента даёт такое же поведение и такую же внутреннюю динамику? Они прогнали 20 алгоритмов внутренней мотивации в симуляции мухи. Победил DIAYN.

Муха, которая решает за 10 секунд до поворота

Автономия животных обычно выглядит как загадка. Никто не подаёт мухе внешних сигналов и не обещает награды, а она всё равно исследует пространство, меняет направление и ведёт себя непредсказуемо, но не хаотично. Классическая обучаемая модель такого не объясняет: в RL агенту почти всегда нужна функция награды, написанная человеком.

Авторы собрали две части эксперимента. Первая — реальные записи мозга мухи, в которых видно, как будущее решение кодируется заранее. Вторая — нейромеханический цифровой двойник: физически реалистичная модель тела мухи, в которой агент управляет движением. Политика устроена иерархически. Верхний уровень выбирает из дискретной библиотеки низкоуровневых моторных примитивов, и это согласуется с этологическими теориями «поведенческих слогов», из которых, как считается, складывается поведение животных.

Двадцать способов хотеть чего-то без награды

Агентов обучали вообще без внешней награды. Использовали 20 алгоритмов внутренней мотивации из трёх семейств, и именно это разнообразие делает работу содержательной: сравнивались не две-три идеи, а целый спектр гипотез о том, что движет автономным поведением.

• Методы любопытства: агент стремится к новому и непредсказуемому.
• Методы энтропии: агент максимизирует разнообразие своих действий или посещаемых состояний.
• Методы компетентности: агент учится набору навыков, которые можно надёжно отличать друг от друга.
• Среда оценки: виртуальный тест с мячом под лапами мухи (tethered-ball assay), смоделированный по реальному эксперименту.
• Метрики поведения: статистика спонтанной локомоции.
• Метрики мозга: внутренние представления агента и структура нейронной активности.
• Декодирование: направление будущего поворота предсказывали по кинематике и по активности сети, на тех же временных масштабах, что у настоящих мух.

Почему победил именно DIAYN

DIAYN (Diversity Is All You Need) относится к компетентностным методам. Он учит дискретный набор политик, которые максимизируют энтропию поведения и одновременно делают наблюдения, порождаемые разными навыками, легко различимыми. По совокупности поведенческого и нейронного предсказательного кодирования он оказался ближе всего к мухам.

У него нашлись и более тонкие совпадения. Выученные политики воспроизводят индивидуальную вариативность стратегий исследования: одни мухи ведут себя так, другие иначе. Авторы трактуют это как механизм покрытия пространства состояний на уровне популяции. Разброс между особями не шум, а способ, которым вид в целом охватывает как можно больше вариантов. Кроме того, латентная активность DIAYN повторила правило «сумма-разность» межполушарного кодирования кинематики, которое наблюдается в мозге настоящих мух.

Чему это учит разработчиков агентов

Для нейронауки результат даёт рабочий инструмент: цифровой двойник плюс набор внутренних целей позволяет проверять гипотезы об автономии на уровне нейронных представлений, а не только траекторий. Код и страница проекта опубликованы у NeuroAgents Lab, так что воспроизвести сравнение можно.

Для индустрии агентов вывод прикладнее. Иерархия с дискретными навыками и целью «быть разнообразным и различимым» хорошо соотносится с тем, что нужно роботам и автономным системам без жёстко заданной награды: библиотека устойчивых примитивов с планированием поверх. Работа не про коммерческую модель, а про то, какие принципы обучения стоит закладывать в агентов, которым предстоит исследовать среду самим. Биологический ориентир здесь не метафора, а измеримая точка отсчёта: теперь есть количественный способ сказать, какая из внутренних целей реалистичнее.