Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
ИнфраструктураНаучная статья · В песочницуTG: @gonzo_ML (gonzo-обзоры ML статей)→ оригинал

Лучший кодинг-агент управляет роботом в 77% задач, но с одними сенсорами — только в 30%

Кодинг-агенты вроде Codex уверенно пишут код, где можно заглянуть в любую переменную и перезапустить, но у робота упавшую деталь не отмотать. Бенчмарк Embodied First Exam (EFE) дал им 1156 задач на 47 симулируемых роботах. Лучший агент, GPT-6 Astra в Codex CLI, решил 77% сложных задач с доступом к состоянию симулятора и бесконечными сбросами, но лишь 30% — с одними сенсорами и ограниченными сбросами. Вывод: нужна обвязка с безопасным восстановлением.

AI-обработка оригинала TG: @gonzo_ML (gonzo-обзоры ML статей); редакция Hamidun News
Лучший кодинг-агент управляет роботом в 77% задач, но с одними сенсорами — только в 30%
Источник: TG: @gonzo_ML (gonzo-обзоры ML статей). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Главный редактор
Ключевой факт #1Агенты выдавали действия напрямую, писали контроллеры или обучали политики
Особенно тяжело на точном контактенужны повторные попытки
Ключевой факт #3Все цифры — одиночные попытки и только симуляция; код открыт на GitHub

Кодинг-агенты вроде Codex или Claude Code уверенно пишут и чинят программы, и естественно хочется доверить им управление физическим роботом. Но в программе разработчик может заглянуть в любую переменную и, если что-то сломалось, просто перезапустить процесс, а у робота упавшую деталь назад не отмотать, и видит он только то, что показывают его собственные датчики. Новый бенчмарк Embodied First Exam (EFE) измерил цену этой разницы: лучший из проверенных агентов, GPT-6 Astra в CLI Codex от OpenAI, решает 77% сложных задач, когда ему доступно полное состояние симулятора и бесконечные сбросы, и только 30% тех же задач, когда остаются одни бортовые сенсоры и ограниченное число сбросов. Падение составляет 47 процентных пунктов.

Что проверяли

EFE — контейнеризированный бенчмарк из 1156 задач на 47 симулируемых роботах. Агентов берут как есть, без специальной доработки под робототехнику, и дают им три пути: напрямую выдавать роботу команды, писать для него контроллер или обучать политику управления. Сравнивались одни и те же сложные задачи в двух режимах: «режим разработчика» и «режим реального робота».

Над работой трудилась большая команда во главе с Manling Li; среди соавторов — Фэй-Фэй Ли, Питер Аббил, Эрик Син и Доун Сонг. Код бенчмарка опубликован на GitHub, так что прогнать на нём собственного агента можно самому.

Где агент ломается

Представьте, что вы вставляете штекер в розетку. В режиме разработчика у вас есть камера сверху, точные координаты всех предметов и кнопка «отменить» без ограничений. В режиме реального робота вы смотрите только глазами самой руки, а попыток мало, потому что после неудачи что-то могло упасть или сдвинуться. Именно так устроено различие между двумя режимами в EFE.

В первом режиме GPT-6 Astra справляется с 77% сопоставленных сложных задач. Во втором — с 30%. Авторы связывают это в первую очередь с этапами, где нужен точный контакт: чтобы нащупать правильное усилие и положение, требуется несколько проб и ошибок. Когда попыток мало, а ошибка необратима, агент не может по привычке «дописать, запустить, поправить», как он делает с кодом.

Главная мысль в том, что для кодинга привычные привилегии (полный обзор состояния и дешёвые перезапуски) неявно закладываются в то, как агенты работают. Физический мир их отнимает.

Что делать на практике

Автор разбора в канале gonzo_ML называет харнессы (обвязки исполнения) для физических роботов одной из следующих больших тем. Вывод из EFE действительно такой: одной сильной модели недостаточно. Нужен слой, который решает, какие действия безопасны, проверяет результат по сенсорам и возвращает систему в рабочее состояние после неудачи.

Для команд, которые строят роботов на базе LLM-агентов, из этого следует несколько простых правил:

  • не оценивайте агента только в симуляции с полным состоянием: такая метрика сильно завышает реальные шансы (77% против 30% в EFE);
  • закладывайте безопасное восстановление и откат, а не надейтесь на перезапуск;
  • отдельно тестируйте этапы с точным контактом — именно там успех падает сильнее всего;
  • считайте число доступных попыток частью условий задачи: чем меньше сбросов, тем ниже результат.

Ограничения

Авторы оговаривают: все оценки в бенчмарке получены по одиночным попыткам и только в симуляции. Разброс между запусками остаётся неизвестным, а перенос на реальные манипуляторы добавит собственные трудности — трение, шум датчиков, износ деталей. Поэтому 30% — не прогноз для живого робота, а ориентир того, насколько сильно режим «только сенсоры и ограниченные сбросы» бьёт по агенту, который отлично справляется в режиме разработчика.

Практический урок для продактов и основателей: если вы обещаете «агента, который управляет железом», проверяйте его в условиях, максимально близких к боевым. Разрыв в 47 процентных пунктов между удобной симуляцией и честными сенсорами — зона, где сегодня решается, заработает ли такой продукт.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что проверяли?

EFE — контейнеризированный бенчмарк из 1156 задач на 47 симулируемых роботах. Агентов берут как есть, без специальной доработки под робототехнику, и дают им три пути: напрямую выдавать роботу команды, писать для него контроллер или обучать политику управления. Сравнивались одни и те же сложные задачи в двух режимах: «режим разработчика» и «режим реального робота». Над работой трудилась большая команда во главе с Manling Li; среди соавторов — Фэй-Фэй Ли, Питер Аббил, Эрик Син и Доун Сонг.

Что известно по теме: где агент ломается?

Представьте, что вы вставляете штекер в розетку. В режиме разработчика у вас есть камера сверху, точные координаты всех предметов и кнопка «отменить» без ограничений. В режиме реального робота вы смотрите только глазами самой руки, а попыток мало, потому что после неудачи что-то могло упасть или сдвинуться. Именно так устроено различие между двумя режимами в EFE. В первом режиме GPT-6 Astra справляется с 77% сопоставленных сложных задач. Во втором — с 30%.

Что известно по теме: что делать на практике?

Автор разбора в канале gonzo_ML называет харнессы (обвязки исполнения) для физических роботов одной из следующих больших тем. Вывод из EFE действительно такой: одной сильной модели недостаточно. Нужен слой, который решает, какие действия безопасны, проверяет результат по сенсорам и возвращает систему в рабочее состояние после неудачи.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…