Команда ИИ-исследователей нашла линейное внимание, которое обошло GDN2 на 1.3B

Автономные агенты уже умеют предлагать идеи, править код и запускать эксперименты. Авторы новой работы пошли дальше и собрали из них не одного «ИИ-учёного», а команду: постоянных исследователей, каждый из которых опирается на свою научную дисциплину. Этой командой они искали архитектуры линейного внимания. На масштабе 1.3B параметров результат превзошёл GDN2 по языковому моделированию, рассуждениям на здравый смысл, а также по синтетическим и реальным задачам на retrieval.

Линейное внимание остаётся одним из главных кандидатов на замену квадратичному вниманию классического трансформера на длинных контекстах. Пространство возможных архитектур огромно, а каждая проверка стоит GPU-часов. Поэтому поиск легко застревает в локальных минимумах: агенты крутятся вокруг одних и тех же трюков и перебирают мелкие вариации известных схем.

Исследователи с разной школой и личной памятью

Основная идея авторов в том, что разнообразие должно быть организационным. Если все агенты думают одинаково, они будут предлагать похожие эксперименты. Поэтому каждому дали профиль в конкретной дисциплине, и команда исследует пространство в разных направлениях одновременно.

Одних дисциплинарных профилей, впрочем, недостаточно. Агенты в этой системе постоянные: они сохраняют контекст между итерациями. У каждого есть приватная история исследований, где лежат его гипотезы, неудачи и промежуточные выводы. При этом экспериментальные данные общие. Любой результат, положительный или отрицательный, становится доступен всей команде и влияет на следующие предложения.

Получается разделение труда, похожее на живую лабораторию. Общие доказательства дают единую картину того, что уже проверено. Личные истории позволяют каждому развивать собственную линию рассуждений, а не пересказывать чужую.

Как делить ограниченный бюджет экспериментов

Вторая проблема практическая. Эксперименты дорогие, поэтому команда может проверить лишь малую часть идей. Нужно решать, кому из исследователей дать слот на запуск. Если всегда выбирать того, у кого последние результаты лучше, поиск сузится. Если выбирать всех по очереди, ресурсы уйдут на слабые направления.

Авторы используют адаптивное распределение возможностей. Оно балансирует исследование новых направлений и развитие уже успешных, то есть классическую дилемму exploration/exploitation. Каждый результат меняет шансы исследователей получить следующий запуск.

Ключевые параметры эксперимента:

• масштаб проверки: модели на 1.3B параметров;
• базовая линия: GDN2;
• задачи: языковое моделирование, common-sense reasoning, синтетический и реальный retrieval;
• состав команды: постоянные агенты с разными дисциплинарными профилями;
• память: приватные истории у каждого, общие экспериментальные данные у всех;
• распределение бюджета: адаптивное, с фиксированным лимитом запусков.

Что ломается, если убрать любой элемент

Наиболее убедительная часть работы — контролируемые сравнения. Авторы по очереди выключали отдельные компоненты организации и каждый раз получали заметно более слабые находки.

Без дисциплинарных профилей поиск быстро выходит на плато. Агенты без разной подготовки приходят к похожим идеям, и новизна заканчивается рано. Без приватных историй исследователи прогрессируют хуже, хотя видят те же общие результаты. Значит, дело не только в доступе к данным: накопленная личная траектория рассуждений тоже влияет на качество следующих предложений. А равномерный выбор исследователей при том же бюджете уступает адаптивному.

Вывод авторов касается всей области. Устойчивое автономное открытие зависит не только от силы базовой модели. Важно, кто исследует, что он помнит и как распределяется исследовательская энергия. Для индустрии это сдвиг внимания: от гонки за лучшим агентом к проектированию оргструктуры из агентов.

Для R&D-команд, которые уже пробуют агентов для автоматизации экспериментов, отсюда следуют три рабочих правила. Задавайте агентам разные профили экспертизы, а не клонируйте одну роль. Давайте им собственную память и общий журнал результатов, включая неудачные. И не раздавайте вычислительный бюджет поровну: перераспределяйте его по итогам уже проведённых запусков. Если оценка авторов верна, прирост даёт именно такая организация исследований, а не просто покупка более сильной модели.