MLE-World prevê o resultado de um experimento de ML sem executá-lo: 77,9% de acerto

Agentes que escrevem e melhoram sozinhos código para tarefas de machine learning esbarram em um custo alto: cada candidato precisa ser realmente treinado e avaliado. A equipe do MLE-World propõe substituir parte dessas execuções por uma previsão. A world model recebe o código do programa e a descrição dos dados e devolve o que o terminal imprimiria: o traceback de erro, os logs de treinamento e o score de validação. Em programas reservados para teste (held-out), ela coincidiu com a saída real em 77,9% dos casos. Modelos maiores, que receberam a mesma tarefa por meio de prompt, chegaram a 41,1%.

Uma chamada no lugar de uma rodada de treinamento

O gargalo dos agentes de ML está no ciclo de feedback. A cada passo, o agente consegue testar apenas algumas variantes, porque cada uma exige treinar um modelo, o que custa de minutos a horas de GPU. O resultado é que o agente ou avalia poucos candidatos, ou gasta o orçamento em cálculos que, na maioria das vezes, terminam em "não funcionou".

O MLE-World muda essa conta. A previsão custa uma chamada de inference, não um treinamento. Com isso, o test-time scaling, ou seja, gerar várias variantes por passo e escolher a melhor, passa a ser viável justamente para agentes de pesquisa. Antes, essa técnica esbarrava no custo de verificar cada candidato.

O modelo não prevê uma "nota de qualidade" abstrata, e sim a saída de texto do programa. Isso inclui execuções que falham: erro de importação, incompatibilidade de dimensões, falta de memória. Saber de antemão que um candidato vai quebrar ajuda o agente a não gastar uma execução real com ele.

A previsão passa por uma checagem de confiança

Toda world model tem um ponto fraco: ela pode errar com convicção. Por isso o sistema inclui um segundo componente, que estima o quanto a previsão provavelmente está correta. Ele tem função prática. A execução real de um candidato é feita de forma seletiva, com base nessa estimativa de confiabilidade: quando a confiança na previsão é baixa, o agente paga pela execução de verdade.

Com base nessa combinação, os autores construíram cinco políticas de test-time scaling. Todas comparam, a cada passo, vários candidatos pelas saídas previstas, e não pelas reais. Uma delas acrescenta à escolha um bônus de exploração, que também se apoia na estimativa de confiabilidade. Isso evita que o agente fique preso a variantes nas quais o modelo simplesmente tem confiança.

Os números e o que está por trás deles

• Coincidência da previsão com a saída real do terminal em programas held-out: 77,9%.
• Linha de base, modelos bem maiores com prompt: 41,1%.
• Ganho no resultado médio observado do agente com MLE-World em relação ao agente sem world model: até 22,1%.
• O volume de execução real, nesse caso, é menor do que o do agente sem o modelo.
• Número de políticas de test-time scaling no trabalho: cinco.
• Preprint: arXiv 2610.37175, página do projeto mle-world.github.io.

O detalhe principal está na comparação com os modelos grandes. Um preditor especializado, treinado em pares "código e dados → saída", é quase duas vezes mais preciso do que LLMs de uso geral, que não viram execuções reais em quantidade suficiente. O conhecimento sobre o comportamento de pipelines é absorvido melhor a partir de logs de execução do que de um pré-treinamento genérico.

O "até 22,1%" indica o melhor caso, não uma garantia para qualquer tarefa. Ainda assim, a direção se encaixa bem na economia do problema: inference barato substitui horas caras de GPU.

Se você desenvolve agentes para AutoML ou programação, a abordagem tem aplicação direta. Vale coletar pares "código, descrição dos dados e saída da execução" a partir dos seus próprios logs, porque é esse dataset que treina uma world model. No ciclo do agente, convém separar a filtragem barata por previsões da verificação cara por execução real, definindo o limiar de confiança com o avaliador de confiabilidade. Assim, o orçamento de GPU vai para os candidatos em que a previsão é ambígua ou em que a escolha realmente importa, e as variantes claramente quebradas são descartadas antes da execução.