EliteTable faz LLM evoluir controladores em código: melhora em 6 de 6 tarefas

Os autores do preprint arXiv:2610.12536 descreveram o EliteTable, um algoritmo de busca de programas em que um grande modelo de linguagem escreve e refina políticas de controle executáveis. O experimento usou seis tarefas do Gymnasium. Cada busca percorreu dez gerações de 50 slots de candidatos, com dez execuções independentes por tarefa. O resultado é ambíguo: as medianas das pontuações dos candidatos subiram entre a primeira e a última geração nas seis tarefas, mas, em episódios novos, o ganho se manteve apenas em parte delas.

Como funciona o EliteTable

O núcleo do método é uma tabela de capacidade fixa. Ela guarda as melhores soluções encontradas, ou seja, programas que já alcançaram pontuação alta no ambiente. A tabela serve de contexto para o LLM. O modelo recebe exemplos dela e atua em três modos: propõe uma solução nova, corrige uma existente ou mistura várias em uma só (remix).

O esquema lembra uma busca evolutiva, em que o modelo de linguagem faz o papel de mutação e cruzamento, e a seleção fica a cargo da tabela limitada. O resultado da busca não são os pesos de uma rede neural, e sim o código da política. É possível lê-lo, auditá-lo e executá-lo como um programa comum. Para tarefas de controle, esse é um argumento sólido a favor da abordagem.

O que as seis tarefas mostraram

Pelos números do resumo, o quadro é este:

• Orçamento de busca: 10 gerações × 50 slots de candidatos, ou seja, até 500 candidatos por execução.
• Repetibilidade: 10 buscas inicializadas de forma independente para cada uma das 6 tarefas.
• As medianas das pontuações dos candidatos subiram entre a primeira e a última geração em 6 de 6 tarefas.
• As medianas das pontuações de busca dos vencedores selecionados subiram em 5 de 6 tarefas.
• No CartPole-v1, o vencedor selecionado bateu o teto da pontuação de busca já na primeira geração de todas as dez execuções.
• Em episódios reservados, todos os dez resultados finais pareados melhoraram em 4 de 6 tarefas.
• BipedalWalker-v3 e CarRacing-v3 melhoraram, mas não atingiram as metas de desempenho definidas para o relatório.

O caso do CartPole-v1 mostra que a tarefa é simples demais para separar métodos fortes de fracos: o teto é atingido de imediato e, dali em diante, a busca não prova nada. BipedalWalker-v3 e CarRacing-v3 são bem mais informativos. São ambientes difíceis, e há progresso neles, mas ele não chegou às metas declaradas.

Onde os resultados divergem das expectativas

O Acrobot-v1 tem o pior desempenho. Em seis das dez buscas, o resultado em episódios reservados piorou, e a mediana da variação pareada ficou negativa. Isso indica que o vencedor escolhido pela pontuação de busca pode ter se ajustado aos episódios específicos da busca e não generalizou para os novos. É o problema clássico da seleção por uma métrica ruidosa, e a tabela de soluções de elite, a julgar pelos dados, não o resolve.

A principal ressalva está no próprio resumo. Os autores escrevem que avaliar a eficácia relativa do EliteTable e a contribuição de cada componente exige comparações e ablações. Esses dados não existem por ora. Não se sabe quanto o método supera uma simples busca aleatória de programas, a geração sem tabela ou outros mecanismos de busca baseados em LLM. Também não está claro qual dos três modos (proposta, correção, remix) responde pela maior parte do ganho. O trabalho documenta a melhora ao longo da busca e a transferência parcial do ganho para episódios novos, mas não prova a superioridade do método.

Para quem pretende aplicar a ideia, a conclusão é esta. Manter uma tabela compacta com os melhores programas e pedir que o LLM os reescreva parece funcionar para sintetizar código de controle, sobretudo onde a política precisa ser legível. Mas, ao usar a abordagem nas suas próprias tarefas, avalie os vencedores apenas em episódios reservados, e não pela pontuação de busca. Use várias execuções independentes e não confie em medianas sem comparação pareada. Enquanto os autores não publicarem comparações com métodos de referência e ablações, o mais sensato é tratar o EliteTable como uma hipótese interessante, e não como uma ferramenta pronta.