RoboFoundry поднял GPT-5.5 на EmbodiedBench с 56,9% до 72,7% без дообучения

Одна и та же GPT-5.5 на EmbodiedBench даёт два разных результата. Подключённая напрямую, она в среднем успешно выполняет 56,9% задач. Если вокруг неё работает RoboFoundry, цифра растёт до 72,7%. Параметры модели авторы не трогали. Прирост равен 15,8 процентного пункта, то есть примерно 28% относительно базовой линии. Об этом сообщает Jiqizhixin.

Что показали цифры

EmbodiedBench оценивает мультимодальные модели в роли агентов для воплощённых задач, где нужно воспринимать среду и планировать действия. Для таких тестов важно, что результат складывается из двух частей: самой модели и обвязки вокруг неё. Обычно сравнивают разные модели в одинаковой обвязке. Здесь сделано наоборот. Модель зафиксирована, а меняется система вокруг.

Ключевые цифры из доступной части материала:

• модель: GPT-5.5, без изменения весов;
• бенчмарк: EmbodiedBench, средний показатель успеха;
• прямое использование модели: 56,9%;
• с RoboFoundry: 72,7%;
• абсолютный прирост: 15,8 п.п.;
• относительный прирост: около 28%.

Заголовок оригинала говорит, что роботы получают возможность самостоятельно эволюционировать. Из этого следует, что система улучшается по мере работы, а не настраивается один раз вручную.

Где прячется разница

Авторы объясняют разрыв просто: он возникает за пределами модели. Речь о том, какие сведения вообще доходят до неё и какой опыт система оставляет себе. Это два рычага, и оба относятся к инженерии контекста, а не к обучению нейросети.

Для воплощённого агента такая постановка выглядит логично. Модель видит мир через то, что ей подали: описание сцены, историю действий, подсказки о состоянии. Если в промпт попадает лишнее, модель отвлекается. Если нужное отсутствует, она ошибается на ровном месте. А если система не запоминает неудачи и удачные приёмы, каждая новая попытка начинается с нуля. Конкретная реализация RoboFoundry в доступном фрагменте не раскрыта, поэтому детали механизма отбора и хранения опыта остаются за рамками этого разбора.

Вывод для индустрии прикладной. Прирост в 28% без единого шага обучения означает, что часть возможностей фронтирных моделей в робототехнике упирается в обвязку. Улучшать её дешевле, чем дообучать модель, и результат не привязан к одной версии весов.

Чего пока не хватает

В доступном тексте нет нескольких вещей, без которых цифру 72,7% трудно оценивать до конца:

• разбивки по подзадачам бенчмарка: средний показатель может скрывать провалы или рекордные скачки в отдельных категориях;
• числа итераций эволюции и стоимости запросов, ведь система, которая накапливает опыт, тратит токены и время;
• результатов для других моделей: непонятно, работает ли подход так же на более слабых или открытых LLM;
• проверки на физических роботах, а не только в симуляторе.

Пока это результат на одном бенчмарке, и его стоит читать именно так.

Что проверить командам, которые строят агентов

Практический вывод касается тех, кто делает агентные системы, не только роботов. Прежде чем менять модель на более дорогую, полезно замерить, сколько теряется на уровне системы. Три вопроса помогут быстро найти потери:

• что именно агент видит на входе и можно ли это сократить без потери смысла;
• сохраняются ли итоги прошлых попыток и используются ли они в следующих;
• как измеряется прогресс: на фиксированной модели, с повторяемым набором задач.

Если RoboFoundry подтвердит результат на других моделях и в реальной среде, конкуренция в воплощённом ИИ частично сместится с размера модели на качество системы вокруг неё.