Шесть команд из UCSB, Stanford и J.P. Morgan выпустили бенчмарк памяти агентов

Шесть организаций, одна конференция уровня NeurIPS 2026 и один вопрос: насколько далеко ИИ-агенту от «помню» до «сделал правильно». Исследователи из Калифорнийского университета в Санта-Барбаре, Стэнфорда, ETH Zurich, Университета Джонса Хопкинса, Carnegie Mellon и J.P. Morgan Chase предложили бенчмарк WorldMemArena для оценки мультимодальной памяти агентов. Заголовок анонса от Jiqizhixin формулирует задачу прямо: перенести проверку памяти в реальные взаимодействия.

Зачем агентам отдельный экзамен на память

Большинство тестов памяти для моделей устроены как викторина. Модели дают длинный контекст или набор изображений, затем задают вопрос и сверяют ответ. Для чат-бота этого может хватить. Агент живёт иначе: он видит экран, получает реплики пользователя, совершает шаги, а через час или день должен опереться на то, что наблюдал раньше. Если память проверяют отдельно от действий, остаётся неизвестным главное: превращается ли запомненное в корректный следующий шаг.

Заявленная логика WorldMemArena в том, чтобы поставить мультимодальную память внутрь интерактивной среды. Названия в заголовке (World, Arena) намекают на динамичный мир и состязательную оценку, но подробностей конструкции в доступном фрагменте анонса нет.

Что известно на данный момент

Источник приводит только рамочные факты. Всё остальное, от числа задач до таблицы результатов моделей, пока остаётся в самой статье.

• Название: WorldMemArena, бенчмарк мультимодальной памяти для агентов.
• Авторы: UCSB, Stanford, ETH Zurich, Johns Hopkins, Carnegie Mellon, J.P. Morgan Chase.
• Статус: статья принята на NeurIPS 2026.
• Подход: оценка памяти в условиях реального взаимодействия, а не на статичных наборах вопросов.
• Не раскрыто в анонсе: объём датасета, список протестированных моделей, итоговые метрики.

Состав авторов тоже говорит о многом. Академические группы обычно задают методологию, а присутствие J.P. Morgan Chase показывает интерес финансового сектора к агентам, которые должны удерживать контекст длинных сценариев: переписки с клиентом, документы, скриншоты, таблицы. Это вывод из состава авторов, а не заявление самих исследователей.

Как читать такие бенчмарки

Когда статья станет доступна полностью, стоит проверить несколько вещей. Первое: что именно считается памятью: хранение наблюдений, извлечение нужного фрагмента или его применение в действии. Второе: отделён ли провал памяти от провала планирования, иначе агент «ошибся» в непонятно какой части. Третье: какие модальности включены, потому что изображения, видео и текст ломают память по-разному. Четвёртое: проверялись ли готовые системы памяти (внешние хранилища, RAG-подходы) или только базовые модели с длинным контекстом.

Командам, которые строят агентов, полезно уже сейчас сделать два шага. Заведите собственный тест на «отложенное использование» наблюдений: пусть агент увидит факт на шаге 3, а понадобится он на шаге 30. И логируйте, откуда агент берёт воспоминание, чтобы отличать ошибку поиска от ошибки рассуждения. Публичные результаты WorldMemArena станут ориентиром, но решать, годится ли агент для вашего процесса, всё равно будет ваш тест на ваших данных.