Epoch AI: свежие модели не смогли повторить алгоритмическую идею человека

Epoch AI опубликовала материал InnovationEval, и его заголовок говорит сам за себя: недавние ИИ-модели с трудом сравнялись с алгоритмическим новшеством, которое придумал человек. Публикация вышла 9 октября 2026 года. На Hacker News она набрала 86 очков и 71 комментарий, то есть сообщество зацепилось за тему сразу. Сразу оговоримся: в материале, который попал к редакции, есть только заголовок, ссылка и счётчики обсуждения. Таблиц с результатами конкретных моделей там нет, и мы их не додумываем.

Что известно о публикации

Epoch AI не первый год делает независимые оценки возможностей моделей, поэтому её выводы обычно читают внимательнее, чем пресс-релизы лабораторий. Название InnovationEval указывает на то, что проверяют именно способность к изобретению. Модели не решают заученную задачу. Им нужно выйти на идею, которую до этого предложил человек-исследователь. Формулировка заголовка («struggled to match») говорит о том, что результат оказался слабее ожиданий.

Вот что можно утверждать на основе доступных данных:

• Источник: Epoch AI, страница publications/innovationeval.
• Дата публикации на агрегаторе: 9 октября 2026 года.
• Главный вывод: недавние модели не смогли уверенно повторить человеческую алгоритмическую инновацию.
• Реакция Hacker News: 86 очков, 71 комментарий.
• Не раскрыто в нашем источнике: список моделей, число попыток, критерии зачёта и конкретные проценты.

Почему такой тест важен

Большинство популярных бенчмарков измеряют, насколько хорошо модель решает задачи с известным ответом: олимпиадная математика, исправление багов в репозиториях, соревновательное программирование. Там прогресс последних лет был быстрым, и графики часто упираются в потолок. Проверка на изобретение устроена иначе. Она отвечает на вопрос, способна ли модель предложить новый приём, а не собрать хорошее решение из того, что уже есть в обучающих данных.

Это напрямую связано с главным обещанием индустрии: ИИ-агенты, которые ускоряют сами исследования в ИИ. Если модель не воспроизводит даже уже найденную человеком идею, разговоры об автоматизации научной работы нужно держать в более узких рамках. Верно и обратное: один тест не закрывает тему. Результат зависит от постановки задачи, подсказок, бюджета на рассуждения и того, какую именно инновацию выбрали эталоном.

Как читать результат

Стоит смотреть на три вещи в первоисточнике. Во-первых, как авторы отделяют изобретение от припоминания: если идея могла попасть в обучающую выборку, тест измеряет память, а не новизну. Во-вторых, сколько попыток получала модель и как выбирался лучший ответ. В-третьих, что считалось успехом: полное совпадение с человеческим решением или функционально эквивалентный подход. От этих деталей зависит, насколько громким окажется вывод.

Уровень обсуждения на Hacker News (71 комментарий при 86 очках) намекает, что у читателей есть вопросы именно к методике. Это нормально для работы такого рода: измерять «изобретательность» намного сложнее, чем точность на тесте с ключом.

Что делать на практике

Командам, которые строят продукты на агентах для кода и исследований, полезно разделить задачи на два класса. Рутинная инженерия, рефакторинг, перенос известных алгоритмов и настройка параметров укладываются в то, что модели делают надёжно. Постановка новых алгоритмических подходов остаётся зоной, где человек по-прежнему задаёт направление, а модель работает как быстрый исполнитель и генератор вариантов для проверки.

Прежде чем пересматривать планы, откройте оригинал на epoch.ai и сверьте три параметра: список проверенных моделей, число запусков и критерий зачёта. Если вы закупаете ИИ-инструменты под R&D, стоит запросить у вендора результаты на задачах с новизной, а не только на стандартных бенчмарках. И держите в голове, что следующий релиз может сдвинуть картину: такие оценки быстро устаревают.