EmbodiedLab: роботов проверили на экспериментах, и лучший решил меньше половины

Исследователи из HexaFuture, среди авторов которых Hongcheng Gao, Bryan Hooi, Yinpeng Dong и Wentao Zhang, представили EmbodiedLab. Это бенчмарк для воплощённых агентов, которым нужно самостоятельно поставить опыт и получить из него знание. В наборе 30 количественных экспериментов из пяти научных дисциплин на 14 лабораторных установках. Даже сильнейший из шести протестированных агентов при нативном управлении решает меньше половины задач.

Узнать, а не переставить

Большинство бенчмарков для робототехники проверяют умение изменить мир: взять чашку, открыть ящик, сложить кубики. Целевое состояние там известно заранее, агенту остаётся его достичь. Бенчмарки научных открытий, напротив, проверяют знание, но физический эксперимент в них заменён символьными действиями или числовыми запросами. Агент вызывает функцию и получает число, а не возится с реальным прибором.

EmbodiedLab закрывает пропуск между этими двумя подходами. Агент получает цель и описание установки. Процедуру он выбирает сам, управляет роботом в физическом симуляторе лаборатории и считывает показания приборов через камеры. Изменение физического состояния здесь средство, а не цель: агент двигает систему, смотрит на отклик и исследует её, пока не получит искомое, например физическую закономерность.

Как сделать честный экзамен

Главная проблема такого теста в том, что ответ не должен лежать в обучающих данных. Авторы решили её через количественные эксперименты: параметры системы пересэмплируются для каждого экземпляра задачи. Результат нельзя вспомнить или угадать, но его можно оценить точно.

Оценка проверяет две вещи:

• что агент в итоге узнал, причём ответ должен опираться на показания, зафиксированные в ходе эпизода; • достигнуто ли физическое состояние, которого требует задача.

Каждый эксперимент к тому же проверен на разрешимость, то есть провал нельзя списать на неисправную задачу.

Шесть моделей, три режима

Авторы прогнали шесть передовых моделей в кодинговых агентах их собственных разработчиков. Каждую проверяли в трёх конфигурациях:

• нативные наблюдение и управление, без надстроек; • с добавленным модулем восприятия и планирования движений; • с навыками манипуляций, извлечёнными из сильнейших агентов.

При нативном управлении даже лучший агент успешен менее чем в половине экспериментов. Для всех шести агентов большая часть неудач связана не с рассуждением, а с самим взаимодействием с установкой: нужно попасть манипулятором в нужную точку, правильно обращаться с прибором, дождаться состояния системы и снять показание. Модель может понимать, какой опыт надо поставить, и всё равно не довести его до конца.

Ещё одно наблюдение касается того, что помогает. Навыки манипуляций, полученные от сильнейших агентов, дают слабым моделям больше, чем добавленные восприятие и планирование движений. Узкое место, по всей видимости, лежит в отработанных операционных приёмах, а не в том, чтобы лучше видеть сцену или считать траектории.

Для кого этот тест

Для разработчиков агентов EmbodiedLab даёт метрику, которой раньше не было: способность замкнуть цикл «гипотеза — действие — наблюдение — вывод» в физической среде. Эту способность ждут от лабораторной автоматизации и от автономных ассистентов в науке. Для команд, которые строят такие системы, результат подсказывает приоритет. Прежде чем наращивать способности рассуждения, стоит инвестировать в надёжное управление приборами и библиотеки навыков манипуляций.

Бенчмарк и код оценки открыты на GitHub в репозитории HexaFuture/EmbodiedLab, так что новые модели и агентов можно прогнать на тех же 30 экспериментах и сравнить с шестью базовыми системами. Работа опубликована на arXiv под номером 2610.35385. Ограничение остаётся очевидным: всё происходит в симуляции, и перенос на реальные лаборатории потребует отдельной проверки. Но как диагностика того, где именно ломаются воплощённые агенты, набор выглядит полезным.