MLE-World предсказывает исход ML-эксперимента без запуска: 77,9% точности

Агенты, которые сами пишут и улучшают код для задач машинного обучения, упираются в дорогую вещь: каждый кандидат нужно реально обучить и оценить. Команда MLE-World предлагает заменить часть таких запусков предсказанием. Их world model по коду программы и описанию данных выдаёт то, что напечатал бы терминал: трейс ошибки, логи обучения и валидационный скор. На отложенных программах она совпала с реальным выводом в 77,9% случаев. Крупные модели, которым ту же задачу ставили промптом, показали 41,1%.

Один вызов вместо тренировочного прогона

Узкое место у ML-агентов в цикле обратной связи. На каждом шаге агент может проверить лишь несколько вариантов, потому что каждый проверяется обучением модели, а это минуты и часы GPU-времени. В итоге агент либо берёт мало кандидатов, либо тратит бюджет на вычисления, которые чаще всего показывают «не взлетело».

MLE-World меняет арифметику. Предсказание стоит одного inference-вызова, а не тренировки. Поэтому test-time scaling, то есть генерация нескольких вариантов на шаге и выбор лучшего, становится доступной именно для исследовательских агентов. Раньше этот приём упирался в цену проверки каждого кандидата.

Модель предсказывает не абстрактную «оценку качества», а текстовый вывод программы. Это включает упавшие запуски: ошибка импорта, несовпадение размерностей, нехватка памяти. Агенту полезно знать заранее, что кандидат сломается, и не тратить на него реальный прогон.

Предсказание можно проверить на доверие

У любой world model есть слабое место: она может уверенно ошибаться. Поэтому в систему встроен второй компонент, который оценивает, насколько предсказание, скорее всего, верно. Он нужен не для красоты. Реальный запуск кандидата делается выборочно, с учётом этой оценки достоверности: когда доверия к предсказанию мало, агент платит за настоящее исполнение.

На этой связке авторы построили пять политик test-time scaling. Все они на каждом шаге сравнивают несколько кандидатов по предсказанным выводам, а не по реальным. Одна из них добавляет к выбору бонус за исследование, который тоже строится на оценке достоверности. Это защита от ситуации, когда агент зацикливается на вариантах, в которых модель просто уверена.

Цифры и что за ними стоит

• Совпадение предсказания с реальным терминальным выводом на отложенных программах: 77,9%.
• Базовая линия, куда более крупные модели с промптом: 41,1%.
• Прирост наблюдаемого среднего результата агента с MLE-World по сравнению с агентом без world model: до 22,1%.
• Объём реального исполнения при этом ниже, чем у агента без модели.
• Число политик test-time scaling в работе: пять.
• Препринт: arXiv 2610.37175, страница проекта mle-world.github.io.

Главная деталь здесь в сравнении с большими моделями. Специализированный предсказатель, обученный на парах «код и данные → вывод», почти вдвое точнее универсальных LLM, которые не видели достаточно реальных запусков. Знание о том, как ведут себя пайплайны, лучше впитывается из логов исполнения, чем из общего претрейна.

Формулировка «до 22,1%» означает лучший случай, а не гарантию на любой задаче. Само направление тем не менее хорошо ложится на экономику: дешёвый inference заменяет дорогие GPU-часы.

Если вы строите агентов для AutoML или кодинга, у подхода есть прямое применение. Стоит собирать пары «код, описание данных и вывод запуска» из собственных логов, потому что именно такой датасет учит world model. В цикле агента стоит разделить дешёвую фильтрацию предсказаниями и дорогую верификацию реальным запуском, при этом порог доверия задавать оценщиком достоверности. Так бюджет GPU уходит на кандидатов, где предсказание неоднозначно или выбор действительно важен, а очевидно сломанные варианты отсеиваются до запуска.