Opper lança o Jevman: modelos de linguagem jogam Pac-Man em 100 partidas cada

A startup Opper abriu o benchmark Jevman, no qual seis modelos de baixa latência jogam Pac-Man contra fantasmas controlados por bots. Cada modelo disputou 100 partidas, e os resultados estão reunidos num leaderboard público. O repositório no GitHub permite incluir um modelo próprio no ranking. Uma partida para um jogador humano custa cerca de 2 centavos. O projeto apareceu no Hacker News, na seção Show HN, e até o momento da publicação tinha 52 pontos e 10 comentários.

O que foi testado e como

Os autores citam como motivação dois lançamentos recentes. A OpenAI lançou o decisions endpoint, e a Cloudflare havia lançado o clef uma semana antes. Além deles, há no mercado várias outras alternativas de modelos para decisões rápidas, e a ideia era compará-las numa mesma tarefa. O Pac-Man serviu como um benchmark simples e ágil de tomada de decisão: o movimento precisa ser escolhido na hora, e uma pausa para pensar não interrompe o jogo.

Entraram no ranking:

• jev 1.13
• kev
• clef
• clef flash
• GPT-6 Luna
• Laya

Parâmetros da rodada, conforme a descrição do projeto:

• 100 partidas por modelo
• adversários: fantasmas controlados por bots
• modo: tempo real, viável graças à baixa latência dos modelos
• resultados: leaderboard público
• código: repositório aberto opper-ai/jevman-benchmark
• custo de uma partida para um humano: cerca de 2 centavos

O post não traz resultados numéricos: as posições e as pontuações médias estão publicadas apenas no leaderboard. Os autores mencionam somente que bater o recorde do jev é surpreendentemente difícil.

Por que um jogo, e não mais um teste

Benchmarks estáticos medem a qualidade da resposta. Aqui o que pesa é outra coisa: o modelo recebe o estado do tabuleiro, escolhe uma ação rapidamente e vê as consequências na sequência. Um erro custa uma vida, e uma resposta lenta significa que o Pac-Man já não está onde deveria. Para modelos vendidos como decisores rápidos em tempo real, essa verificação fica mais próxima do uso prático do que testes longos de raciocínio. Essa é a nossa interpretação; os autores são mais modestos e dizem apenas que o jogo é um bom teste simples.

A abordagem tem limitações evidentes. Os adversários são bots com script, e não outros modelos, e o ranking final depende do comportamento deles. Cem partidas por modelo formam uma amostra razoável, mas a diferença entre participantes próximos, como clef e clef flash, pode ficar dentro da margem de erro estatístico. A metodologia deve ser lida no repositório, e não deduzida a partir do leaderboard.

É preciso lembrar também do interesse do autor. Todos os modelos rodam pela Opper, a startup do próprio autor do post. Ela é uma plataforma agregadora e, ao mesmo tempo, a organizadora da comparação. O código aberto atenua em parte a dúvida, já que os resultados podem ser reverificados.

Como testar por conta própria

O projeto tem duas portas de entrada. A primeira é para desenvolvedores: o arquivo CONTRIBUTING traz a seção «Benchmark your own model», que explica como rodar o seu modelo e entrar no leaderboard. A segunda é para todos os demais: dá para sentar e jogar Pac-Man pessoalmente, deixando os modelos no papel dos fantasmas. É possível misturá-los ou entregar o papel inteiro a uma única família, seja jev, kev ou clef. Novos usuários recebem créditos gratuitos.

A conclusão prática para quem escolhe um modelo para agentes ou cenários de jogos: primeiro rode o candidato neste benchmark e compare-o com o ranking. Depois, meça a latência real e o preço por requisição na sua própria carga de trabalho. Uma partida de 2 centavos permite fazer isso quase de graça. E, se o seu modelo não está na lista, adicione-o ao repositório e veja se ele acompanha o ritmo do jev, cujo recorde, segundo os autores, não é fácil de superar.