Um LLM programou um jogador de Arkanoid e derrotou o chefe em 10 de 10 partidas

Um problema conhecido dos agentes de IA funciona assim: o modelo escreve codigo com confianca, executa-o e anuncia o sucesso, mas ninguem consegue provar que a tarefa foi realmente resolvida. Em um experimento com o jogo de DOS Arkanoid, esse problema foi exposto literalmente na tela. O LLM recebeu o jogo sem API nem acesso a memoria do processo — apenas uma imagem de 320 × 200 pixels, controles de mouse e teclado e a possibilidade de voltar a estados salvos. O jogador resultante derrotou o chefe DOH em 10 de 10 partidas, marcando em media 343.977 pontos.

Por que o treinamento nao funcionou

A primeira tentativa seguiu a abordagem habitual: o LLM ajudou o autor a escrever um sistema de aprendizado por reforco. O agente executou 17 milhoes de passos ao longo de aproximadamente 17 horas, mas ficou estagnado em uma pontuacao media de 7.000–8.000 pontos. Ele via uma imagem reduzida, movia a raquete em pequenos incrementos e recebia uma recompensa baseada na pontuacao.

O problema estava escondido na mecanica do ricochete. Quando a raquete atingia a bola em diferentes pontos dentro de aproximadamente 12 pixels a partir do centro, o angulo variava de uma trajetoria suave para a esquerda a uma trajetoria suave para a direita. Na imagem reduzida, a bola virava um borrao, enquanto os controles nao permitiam posicionar rapidamente a raquete no ponto necessario. O autor indicou essa relacao, mas a nova execucao nunca foi concluida.

Essa era a abordagem de Software 2.0: uma pessoa escolhia a arquitetura, os dados, a recompensa e o metodo de treinamento, enquanto o LLM ajudava a construir o sistema dentro desses limites. Ele acelerava o trabalho, mas nao decidia qual metodo a tarefa exigia.

O que mudou na segunda tentativa

Em seguida, o mesmo LLM recebeu outro papel. Em vez de ser solicitado a escrever um sistema de treinamento, ele ganhou acesso ao emulador, ao quadro completo, ao controle preciso do mouse, a estados salvos para experimentos reproduziveis e a um objetivo: entender o jogo de forma autonoma e escrever um programa jogador.

O modelo comecou como pesquisador. Encontrou as configuracoes, aprendeu a pular a abertura, criou modelos de algarismos para ler a pontuacao e percebeu que a raquete podia atravessar todo o campo em um unico quadro. Depois, montou um experimento: reproduziu varias vezes o mesmo momento, mudou o ponto de encontro entre a raquete e a bola e mediu a trajetoria. Assim, identificou seis zonas de ricochete. O jogador passou a calcular o percurso para cada zona e a escolher a rebatida que destruiria os tijolos mais rapidamente.

As primeiras versoes cometiam erros. A raquete tremia perto da borda, a bola ficava presa em uma das fases avancadas e o chefe final disparava projeteis que o jogador nunca tinha visto. O pesquisador analisava os quadros imediatamente anteriores a cada derrota, formulava uma hipotese, alterava o codigo e repetia o teste. Para o chefe, adicionou uma previsao do ponto em que o projetil cruzaria a linha da raquete. Para os ciclos repetitivos, acrescentou uma regra que deixa a bola passar de proposito e reinicia o saque.

Um detalhe importante: o LLM nao jogou as partidas finais. Ele escreveu um programa deterministico convencional que podia ser inspecionado e testado. O modelo explorou um ambiente desconhecido, enquanto um codigo rapido executava a estrategia descoberta.

O que levar para o produto

A primeira regra e oferecer um ambiente isolado ao agente. Pode ser uma copia de um CRM sem pagamentos reais, um banco de dados de teste ou um emulador de um processo de producao. O agente deve ter permissao para errar, repetir o experimento e voltar ao estado anterior.

A segunda regra e planejar a verificacao antes da automacao. No experimento, um avaliador separado calculava o resultado: iniciava o jogo com diferentes atrasos, lia a pontuacao e confirmava a tela final. O pesquisador nao podia atribuir a propria nota. Nos negocios, o equivalente pode ser um teste automatizado, uma conciliacao de saldos ou um conjunto de casos de controle.

A terceira regra e separar pesquisa e execucao. Um LLM e util quando e preciso entender uma situacao nova, planejar um experimento e propor uma solucao. Uma operacao repetitiva funciona melhor quando e entregue a um programa convencional com entradas claras, registro de acoes e testes.

O experimento nao prova que um agente conseguira lidar com qualquer sistema: o jogo e limitado, o feedback e rapido e as metricas apresentadas se baseiam em um unico projeto. Ainda assim, ele demonstra bem um principio de arquitetura. Um agente poderoso nao e um chat colocado ao lado de um processo. E um pesquisador dentro de um ciclo seguro: observacao, hipotese, experimento, codigo e verificacao independente.