Агент на GPT-6 Sol за несколько часов обучил виртуального робота ходить и искать кошек

Обычно путь от идеи «хочу робота, который ходит по комнате и находит кота» до работающей симуляции занимает недели. Нужно написать код, настроить среду, запустить обучение, посмотреть, почему робот падает, поправить награды и повторить. Обозреватель Wired Уилл Найт попробовал отдать почти весь этот цикл языковой модели и уложился в несколько часов.

Что именно сделал агент

Герой эксперимента — виртуальная версия Microduck, милого робота от Pollen Robotics и Hugging Face. Физический экземпляр автор ещё ждёт, поэтому всё происходило в симуляторе. Задача простая: ходить по комнате и опознавать бенгальских кошек. Позже робот должен выдавать лакомство питомице автора по кличке Леона.

Набор инструментов такой: GPT-6 Sol от OpenAI, агентная обвязка Hermes от Nous Research и персональный компьютер Nvidia DGX Spark. Модель не просто писала код. Через Nvidia Isaac Sim она подавала инструкции модели, которая управляла виртуальным роботом, смотрела видео результатов, оценивала, как идут дела, и предлагала правки в режиме обучения. То есть человек выступал скорее заказчиком, а рутину исследователя — гонять эксперименты и разбирать результаты — взял на себя агент.

Результат: робот научился ходить и не падать. Попытка научить его лунной походке по GIF-ке с Майклом Джексоном провалилась. После нескольких часов работы получилась лишь «очень бодрая пробежка задом наперёд».

Что делают профессионалы

Похожие вещи пробуют и в лабораториях. После сентябрьского релиза модели Astra команда профессора Кена Голдберга из Беркли посмотрела на её демо с генерацией 3D-картинок и задалась вопросом: поможет ли это строить симуляции для обучения роботов? Такие симуляции должны быть очень точными, иначе сложное поведение, например танец гуманоида или захват рукой, плохо перенесётся в реальный мир.

Один из студентов дал Astra доступ к инструменту Nvidia Newton, показал видеоклип с настоящим роботом и попросил воссоздать сцену. По словам Голдберга, меньше чем за час модель выдала полную 3D-симуляцию с настроенными параметрами: положением камеры, освещением, фоном и материалами.

На этой неделе Голдберг, исследователь Nvidia Джим Фан и коллеги открыли код фреймворка Aspire. Он позволяет роботу самому находить и применять новые навыки. В одном из примеров GPT-6 Astra управляла двумя роботизированными руками и собрала кубик Рубика: сначала брала его не под тем углом, потом долго рассуждала и всё же справилась, потому что накапливала навыки по ходу дела. На конференции CoRL в Остине Фан показал и другое демо: модель рисует Мост Золотые Ворота кистью и красками.

Идея Фана в том, что LLM теперь управляет роботами так же, как программными инструментами. Модели, обученные физическим действиям (VLA), для неё просто ещё один инструмент, как приложение на компьютере.

Ограничения и практический вывод

Не стоит ждать, что завтра роботы заработают сами. Автор честно признаёт, что зрение его утёнка слишком слабое для реального продукта. Надёжная и эффективная работа роботов по-прежнему требует серьёзной инженерной экспертизы. Кроме того, результаты демо описаны самими участниками, независимой проверки в материале нет.

Тем не менее для практиков вывод такой. Узкое место в робототехнике смещается с «написать код» на «сформулировать задачу и проверить результат». Если у вас есть симулятор, видеоанализ и агент, способный запускать эксперименты и разбирать итоги, цикл итераций сокращается с недель до часов. Для прототипов и хобби-проектов это уже можно пробовать, а Aspire — готовая точка входа.

Голдберг говорит, что несколько компаний из промышленной робототехники и автоматизации уже заинтересовались подходом. Они видят потенциал в производстве и электронной коммерции. Найт предполагает, что за «вайб-кодингом» может прийти «вайб-робототехника»: когда программировать и обучать роботов станет легко и любителям, и инженерам. А Леоне, если всё получится, больше не придётся оставаться без лакомства.