Claude Opus 5 собрал простые базлайны, которые добрали 95,5% разрыва до DL-моделей из Nature и Science

Команда из Carnegie Mellon University предложила проверять громкие научные статьи про глубокое обучение с помощью языковой модели, которая автоматически строит для них простые базлайны. В эксперименте Claude Opus 5 получил 36 задач, взятых из работ в Nature, Science и журналах семейства Cell, и для каждой написал скрипт с простой моделью. Медианный результат оказался неожиданно высоким: базлайны закрыли 95,5% разрыва между тривиальным предсказателем и опубликованной нейросетью, среднее по задачам составило 85,7%. На 12 задачах из 36 простая модель сравнялась с глубоким обучением или превзошла его.

Как измеряли силу базлайна

Авторы ввели метрику Simple Baseline Strength (SBS). Это безразмерная доля: от результата тривиального предсказателя (константа вроде среднего значения цели или самого частого класса) до результата опубликованной DL-модели. SBS, равный 0, означает, что базлайн не лучше тривиального. Значение 1 означает, что он сравнялся с нейросетью, а больше 1 — что обошёл её. Благодаря нормировке можно сравнивать задачи с разными метриками. Для метрик, где лучше меньшее значение, формула работает так же.

Задачи отбирали из открытых статей, опубликованных с 31 января 2024 года по 18 сентября 2026 года. Условие — публичные данные, так что выборка отражает только исследования, которые открыли свои датасеты. Покрыты восемь научных областей, минимум по три задачи в каждой, и минимум по три задачи из каждого журнала семейства Nature. Результаты базлайнов при выборе задач не использовались.

Каждая попытка шла в контейнере без сети, если не считать доступ к API провайдера модели. Тестовые метки и файлы с результатами хранились снаружи. Агент писал и запускал один скрипт с лимитом 30 минут, только на CPU и без предобученных весов: чекпоинты, обученные на открытых данных, могли видеть тестовую выборку. Промпт просил «разумный базлайн», а не обязательно простейший, поэтому нейросети были разрешены. В итоге из 157 оцениваемых скриптов 47 использовали PyTorch, а 85 — градиентный бустинг над деревьями.

Где простые модели не справились

Каждую задачу повторяли пять раз. Из 180 попыток 157 дали валидные предсказания, у 16 задач была хотя бы одна неудачная попытка, а у трёх осталось не больше двух оцениваемых прогонов. Если считать неудачи нулями, среднее падает до 79,6%, а медиана остаётся 95,5%.

Шесть задач показали медианный SBS ниже 0,5. У всех шести была как минимум одна неудачная попытка. Во всех шести агенту дали не табличные признаки, а сырые последовательности, строковые описания структур или атомные координаты. Но объяснить провал одним типом входа нельзя: несколько задач с такими же данными оказались около единицы или выше. У двух из шести медиана построена всего по двум оцениваемым повторам. Валидационная оценка самого агента лишь грубо коррелирует с тестовой, а повторы одной задачи обычно дают близкие результаты.

Авторы также сравнили схемы с разным объёмом вычислений на отдельном наборе из девяти задач. Часть этих запусков шла на более ранних сборках среды, где документация задач была скрыта, поэтому прямое сравнение требует осторожности. Влияние уровня контекста исследования они тоже разбирают, но в доступном тексте цифр по нему нет. Различия между журналами и областями авторы не тестировали и выводов из их порядка не делают: групп мало, от трёх до шести задач на область.

Зачем это рецензентам

Мотивация в том, что рецензирование не успевает за потоком статей. Springer Nature сообщил о 3,1 млн поданных работ в 2025 году, на 30% больше, чем годом ранее. Число заявок на ICLR выросло с 11 603 до 19 525, на NeurIPS — с 9 467 в 2020 году до 21 575 в 2025-м. В arXiv за 2023–2025 годы число работ выросло на 36,4%, с 208 493 до 284 486.

При этом пропущенные базлайны уже искажали картину: в предсказании ответа клеток на возмущения пять фундаментальных моделей не превзошли простые методы, в долгосрочном прогнозе временных рядов однослойные линейные модели обошли Transformer на девяти датасетах, а на 45 табличных датасетах деревья оставались сильнее нейросетей.

Практический вывод для авторов и рецензентов: автоматический базлайн можно запускать как дешёвую проверку заявленного приращения качества. Это не доказывает, что DL-метод бесполезен: он может давать выигрыш в интерпретируемости или на других данных. Но если простая модель на CPU за 30 минут добирает почти весь разрыв, авторам стоит объяснить, чем именно оправдана сложная архитектура.