AA-Robotics v0.1: GPT-6 Astra управляет роботом-рукой на 69 баллов из 100

Artificial Analysis выпустила AA-Robotics v0.1, исследовательское превью бенчмарка, который проверяет, как передовые языковые модели понимают физическую сцену, планируют и действуют. Каждой модели дают шестиосевую руку (пять суставов и захват) и простую цель. Лидирует GPT-6 Astra с 69,4 балла из 100. За ней идут GPT-6.1 Sol (64,6), Gemini 4 Argon (55,3), Claude Opus 5.5 (48,8) и Claude Fable 5.1 (46,3). Но на среднюю задачу Astra уходит 30 минут и $16,36, а человек справляется за 20 секунд.

Как устроен тест

Модели работают в изолированном контейнере с короткой инструкцией. Им сообщают, как достучаться до руки через простой HTTP API, что это Hiwonder NexArm (без дополнительных спецификаций) и как сдать попытку. Сцену они видят через четыре камеры: три стоят вокруг стола, одна закреплена на запястье. Код для планирования и отправки движений модель пишет сама. Все попытки zero-shot, а итоговое состояние оценивает человек: полное выполнение даёт 100 баллов, частичное — очки за прогресс. GPT запускали в Codex, Claude в Claude Code, Gemini 4 Argon в Antigravity, везде с высоким уровнем reasoning effort.

В v0.1 восемь настольных задач:

• нажать красную кнопку;
• положить игрушечного крокодила в прямоугольник;
• налить напиток из бутылки в чашку;
• убрать четыре блока в коробку и закрыть крышку;
• собрать фигуры по картинке;
• написать hello world маркером в рамке;
• построить самую высокую башню из поролоновых блоков;
• измерить длину, ширину и высоту коробки с точностью до 2 мм.

Кнопку и крокодила на 100 баллов прошли все пять моделей. С измерением коробки не справился никто: максимум 17 баллов у Sol и Opus 5.5, остальные получили ноль.

Время, деньги и странные ошибки

Четыре модели из пяти укладываются примерно в 30 минут на задачу. Gemini 4 Argon медленнее всех: 52 минуты, из них в среднем 21 минута уходит на наблюдение и размышления до первого действия. Разброс по задачам огромный. С крокодилом GPT-6.1 Sol объявил о завершении за пять минут, Claude Opus 5.5 потратил 45, то есть в девять раз больше. Самая быстрая из лучших попыток принадлежит Astra: кнопку она нажала за 2,2 минуты.

По деньгам разрыв с человеком меньше. Самая экономная модель, Sol, стоит $1,93 за задачу. Человеку со средней почасовой ставкой $37,81 это обошлось бы примерно в десять раз дешевле, но по времени отставание почти стократное. Astra дороже Sol больше чем в восемь раз при преимуществе всего в четыре балла (69 против 65). Около 70% расходов уходит на входной контекст: моделям приходится переваривать много изображений.

Главная слабость — оценка собственного результата. Sol собрал проходную башню примерно за 17 минут, но продолжил действовать и провалил задачу. Другая модель довела крокодила до нужной позиции к 23-й минуте, а затем 22 минуты двигала его и трижды столкнула за край. В задаче с крышкой модель объявила её ровной, хотя та лежала на клине поверх кубика. Есть и ошибки физики: рука задевает башню предплечьем, волочит крокодила за хвост, а струя при наливании сдвигает чашку на четыре сантиметра.

Как читать результаты

Самый честный показатель точности — доля успешных захватов. У GPT-6 Astra она около 45% (n = 95), у Claude Fable 5.1 — 44%, у Opus 5.5 — 40%, у Gemini 4 Argon — 36%, у GPT-6.1 Sol — 28%. Лучшие модели промахиваются или роняют предмет более чем в половине попыток.

Практический вывод для тех, кто строит робототехнические агенты: LLM в связке с кодовым агентом уже могут управлять манипулятором на простых задачах, но как самостоятельный контроллер в продакшене непригодны. Они слишком медленные и дорогие, а критерий остановки у них ненадёжен. Разумнее использовать их как планировщиков и ставить рядом независимую проверку результата. Авторы ожидают быстрого прогресса, и стоит следить, как у моделей изменятся доля успешных захватов и время до первого действия.