CodeActionBench: GPT-6 Astra в Codex CLI добился 73,3% успеха в задачах с двумя руками

Бенчмарк CodeActionBench, о котором сообщило издание Jiqizhixin, задаёт простой вопрос: если агент умеет смотреть на изображение и писать код, справится ли он с управлением роботом? В двуручной симуляции лучший из названных результатов принадлежит GPT-6 Astra, запущенному через Codex CLI. Успех попытки составил 73,3%. Claude Opus 5 тестировали в Reference harness, но в доступном фрагменте публикации его результат обрывается, поэтому сравнивать модели по цифрам пока нельзя.

Что именно измеряет бенчмарк

Большинство тестов для роботов проверяют отдельные звенья: распознавание сцены, планирование или низкоуровневое управление. CodeActionBench собирает всю цепочку в один прогон. Агент получает визуальное наблюдение, формирует политику действий (в данном случае через код), исполняет её в физической среде и сам решает, выполнена ли задача.

Последний шаг важнее, чем кажется. Агент, который уверенно заявляет об успехе при неудаче, на реальной линии опаснее агента, который честно сообщает о сбое. Включив оценку завершения в цикл, авторы проверяют самоконтроль агента, а не только его моторику.

Вторая особенность — единые условия. Универсальные агенты вроде Codex CLI приходят со своей обвязкой: набором инструментов, форматом промптов, правилами работы с файлами. Если не выровнять эти параметры, сравнивается не модель, а упаковка вокруг неё. Упоминание Reference harness в источнике говорит, что у авторов есть эталонная обвязка для такого выравнивания.

Что известно из опубликованных данных

• Бенчмарк: CodeActionBench, оценка универсальных мультимодальных агентов в роботизированной манипуляции.
• Цикл: наблюдение, генерация политики, физическое исполнение, суждение о завершении.
• Среда: двуручная (bimanual) симуляция.
• Лучший названный результат: GPT-6 Astra в Codex CLI, 73,3% успеха попытки.
• Второй участник: Claude Opus 5 в Reference harness, числа в доступном тексте нет.
• Не раскрыто: число задач, число попыток на задачу, полный список моделей, разброс результатов.

Как читать цифру 73,3%

Метрика называется успехом попытки, и это не то же самое, что доля решённых задач. Если агенту разрешают несколько попыток, итоговая доля решённых задач обычно выше успеха одной попытки. Когда авторы опубликуют полную таблицу, стоит смотреть на обе величины и на то, как агент использует обратную связь между попытками.

Симуляция даёт воспроизводимость и дешёвые прогоны, но не снимает разрыв с реальным миром. Трение, люфты, шум датчиков и неидеальные захваты на реальных манипуляторах часто ломают политики, которые чисто работают в виртуальной среде. Поэтому 73,3% показывает потолок возможностей агента в контролируемых условиях, а не готовность к цеху.

При этом сам подход заслуживает внимания. Код как интерфейс к роботу удобен для проверки: политику можно прочитать, отладить и повторить. Это прозрачнее, чем сквозная нейросетевая политика, где причину ошибки приходится угадывать.

Что проверить практикам

Командам, которые оценивают универсальных агентов для робототехники, стоит проверить три вещи. Во-первых, дождаться полной методологии: число задач, правила повторных попыток и конфигурацию обвязки. Во-вторых, сравнивать модели в одинаковом harness, а не по заявленным цифрам из разных источников. В-третьих, отдельно замерить точность самооценки завершения: как часто агент объявляет успех при реальном провале. Именно этот показатель определит, можно ли оставлять такую систему без надзора человека.