LLM написала игрока для Arkanoid и победила босса в 10 партиях из 10

Знакомая проблема с ИИ-агентами выглядит так: модель уверенно пишет код, запускает его и сообщает об успехе, но никто не может доказать, что задача действительно решена. В эксперименте с DOS-игрой Arkanoid эту проблему разобрали буквально на экране. LLM получила игру без API и доступа к памяти процесса — только изображение 320 × 200 пикселей, мышь, клавиатуру и возможность возвращаться к сохранённым состояниям. Итоговый игрок победил босса DOH в 10 партиях из 10, набирая в среднем 343 977 очков.

Почему обучение не сработало

Первая попытка была привычной: LLM помогала автору писать систему обучения с подкреплением. Агент сделал 17 млн шагов примерно за 17 часов, но застрял на среднем результате 7–8 тыс. очков. Он видел уменьшенную картинку, двигал ракетку короткими шагами и получал награду за счёт.

Проблема скрывалась в механике отскока. Если ракетка попадала по мячу разными участками в пределах примерно 12 пикселей от центра, угол менялся от пологого влево до пологого вправо. На уменьшенном изображении мяч превращался в пятно, а управление не позволяло быстро поставить ракетку в нужную точку. Автор подсказал зависимость, но новый прогон так и не закончили.

Это был подход Software 2.0: человек выбрал архитектуру, данные, награду и способ обучения, а LLM помогала строить систему внутри этих границ. Она ускоряла работу, но не решала, какой метод нужен задаче.

Что изменилось во второй попытке

Затем той же LLM дали другую роль. Вместо просьбы написать обучение она получила доступ к эмулятору, полный кадр, точное управление мышью, сохранения для повторяемых опытов и цель: самостоятельно разобраться в игре и написать программу-игрока.

Модель начала как исследователь. Она нашла настройки, научилась пропускать заставку, сделала шаблоны цифр для чтения счёта и заметила, что ракетку можно перебросить через всё поле за один кадр. Потом поставила опыт: несколько раз воспроизвела один момент, меняла точку встречи ракетки с мячом и измеряла траекторию. Так появились шесть зон отскока. Игрок стал рассчитывать полёт для каждой зоны и выбирать удар, который быстрее разрушит кирпичи.

Первые версии ошибались. Ракетка дрожала возле края, мяч застревал на одном из поздних раундов, а финальный босс стрелял снарядами, которых игрок раньше не видел. Исследователь разбирал кадры перед поражением, формулировал гипотезу, менял код и повторял проверку. Для босса он добавил прогноз точки пересечения снаряда и линии ракетки. Для зацикливания — правило, которое намеренно пропускает мяч и начинает подачу заново.

Важная деталь: LLM не играла в финальных партиях. Она написала обычную детерминированную программу, которую можно прочитать и тестировать. Модель исследовала неизвестную среду, а найденную стратегию исполнял быстрый код.

Что взять в продукт

Первое правило — дайте агенту песочницу. Это может быть копия CRM без настоящих платежей, тестовая база или эмулятор производственного процесса. Агент должен иметь право ошибаться, повторять опыт и возвращаться к прежнему состоянию.

Второе — придумайте проверку до автоматизации. В эксперименте результат считал отдельный судья: он запускал игру с разными задержками, читал счёт и подтверждал финальный экран. Исследователь не мог сам выставить себе оценку. Для бизнеса аналогом станет автотест, сверка балансов или набор контрольных кейсов.

Третье — разделяйте исследование и исполнение. LLM полезна там, где нужно разобраться в новой ситуации, поставить опыт и предложить решение. Повторяемую операцию лучше передать обычной программе с понятными входами, журналом действий и тестами.

Эксперимент не доказывает, что агент справится с любой системой: игра ограничена, обратная связь быстрая, а заявленные показатели основаны на одном проекте. Но он хорошо показывает архитектурный принцип. Сильный агент — это не чат рядом с процессом. Это исследователь внутри безопасного цикла: наблюдение, гипотеза, опыт, код и независимая проверка.