Лучший кодинг-агент управляет роботом в 77% задач, но с одними сенсорами — только в 30%
Кодинг-агенты вроде Codex уверенно пишут код, где можно заглянуть в любую переменную и перезапустить, но у робота упавшую деталь не отмотать. Бенчмарк Embodied First Exam (EFE) дал им 1156 задач на 47 симулируемых роботах. Лучший агент, GPT-6 Astra в Codex CLI, решил 77% сложных задач с доступом к состоянию симулятора и бесконечными сбросами, но лишь 30% — с одними сенсорами и ограниченными сбросами. Вывод: нужна обвязка с безопасным восстановлением.
AI-обработка оригинала TG: @gonzo_ML (gonzo-обзоры ML статей); редакция Hamidun News
Кодинг-агенты вроде Codex или Claude Code уверенно пишут и чинят программы, и естественно хочется доверить им управление физическим роботом. Но в программе разработчик может заглянуть в любую переменную и, если что-то сломалось, просто перезапустить процесс, а у робота упавшую деталь назад не отмотать, и видит он только то, что показывают его собственные датчики. Новый бенчмарк Embodied First Exam (EFE) измерил цену этой разницы: лучший из проверенных агентов, GPT-6 Astra в CLI Codex от OpenAI, решает 77% сложных задач, когда ему доступно полное состояние симулятора и бесконечные сбросы, и только 30% тех же задач, когда остаются одни бортовые сенсоры и ограниченное число сбросов. Падение составляет 47 процентных пунктов.
Что проверяли
EFE — контейнеризированный бенчмарк из 1156 задач на 47 симулируемых роботах. Агентов берут как есть, без специальной доработки под робототехнику, и дают им три пути: напрямую выдавать роботу команды, писать для него контроллер или обучать политику управления. Сравнивались одни и те же сложные задачи в двух режимах: «режим разработчика» и «режим реального робота».
Над работой трудилась большая команда во главе с Manling Li; среди соавторов — Фэй-Фэй Ли, Питер Аббил, Эрик Син и Доун Сонг. Код бенчмарка опубликован на GitHub, так что прогнать на нём собственного агента можно самому.
Где агент ломается
Представьте, что вы вставляете штекер в розетку. В режиме разработчика у вас есть камера сверху, точные координаты всех предметов и кнопка «отменить» без ограничений. В режиме реального робота вы смотрите только глазами самой руки, а попыток мало, потому что после неудачи что-то могло упасть или сдвинуться. Именно так устроено различие между двумя режимами в EFE.
В первом режиме GPT-6 Astra справляется с 77% сопоставленных сложных задач. Во втором — с 30%. Авторы связывают это в первую очередь с этапами, где нужен точный контакт: чтобы нащупать правильное усилие и положение, требуется несколько проб и ошибок. Когда попыток мало, а ошибка необратима, агент не может по привычке «дописать, запустить, поправить», как он делает с кодом.
Главная мысль в том, что для кодинга привычные привилегии (полный обзор состояния и дешёвые перезапуски) неявно закладываются в то, как агенты работают. Физический мир их отнимает.
Что делать на практике
Автор разбора в канале gonzo_ML называет харнессы (обвязки исполнения) для физических роботов одной из следующих больших тем. Вывод из EFE действительно такой: одной сильной модели недостаточно. Нужен слой, который решает, какие действия безопасны, проверяет результат по сенсорам и возвращает систему в рабочее состояние после неудачи.
Для команд, которые строят роботов на базе LLM-агентов, из этого следует несколько простых правил:
- не оценивайте агента только в симуляции с полным состоянием: такая метрика сильно завышает реальные шансы (77% против 30% в EFE);
- закладывайте безопасное восстановление и откат, а не надейтесь на перезапуск;
- отдельно тестируйте этапы с точным контактом — именно там успех падает сильнее всего;
- считайте число доступных попыток частью условий задачи: чем меньше сбросов, тем ниже результат.
Ограничения
Авторы оговаривают: все оценки в бенчмарке получены по одиночным попыткам и только в симуляции. Разброс между запусками остаётся неизвестным, а перенос на реальные манипуляторы добавит собственные трудности — трение, шум датчиков, износ деталей. Поэтому 30% — не прогноз для живого робота, а ориентир того, насколько сильно режим «только сенсоры и ограниченные сбросы» бьёт по агенту, который отлично справляется в режиме разработчика.
Практический урок для продактов и основателей: если вы обещаете «агента, который управляет железом», проверяйте его в условиях, максимально близких к боевым. Разрыв в 47 процентных пунктов между удобной симуляцией и честными сенсорами — зона, где сегодня решается, заработает ли такой продукт.
- 18 нояб. 2026 г.AWS показала, как пустить агентов Bedrock к частным API через центральный файрвол
- 18 нояб. 2026 г.ffmpeg-skill дал Claude Code и Cursor 42 локальных инструмента для монтажа видео
- 18 нояб. 2026 г.Хуанг ушёл с поста CEO NVIDIA, компания потеряла более $1 трлн капитализации
- 18 нояб. 2026 г.Голосовые агенты ElevenLabs дозваниваются до пациентов за 3,5 минуты вместо 2 часов
Вопросы и ответы по материалу
Что известно по теме: что проверяли?
EFE — контейнеризированный бенчмарк из 1156 задач на 47 симулируемых роботах. Агентов берут как есть, без специальной доработки под робототехнику, и дают им три пути: напрямую выдавать роботу команды, писать для него контроллер или обучать политику управления. Сравнивались одни и те же сложные задачи в двух режимах: «режим разработчика» и «режим реального робота». Над работой трудилась большая команда во главе с Manling Li; среди соавторов — Фэй-Фэй Ли, Питер Аббил, Эрик Син и Доун Сонг.
Что известно по теме: где агент ломается?
Представьте, что вы вставляете штекер в розетку. В режиме разработчика у вас есть камера сверху, точные координаты всех предметов и кнопка «отменить» без ограничений. В режиме реального робота вы смотрите только глазами самой руки, а попыток мало, потому что после неудачи что-то могло упасть или сдвинуться. Именно так устроено различие между двумя режимами в EFE. В первом режиме GPT-6 Astra справляется с 77% сопоставленных сложных задач. Во втором — с 30%.
Что известно по теме: что делать на практике?
Автор разбора в канале gonzo_ML называет харнессы (обвязки исполнения) для физических роботов одной из следующих больших тем. Вывод из EFE действительно такой: одной сильной модели недостаточно. Нужен слой, который решает, какие действия безопасны, проверяет результат по сенсорам и возвращает систему в рабочее состояние после неудачи.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.