Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизНаучная статья · В песочницуMIT Technology Review→ оригинал

METR обновил известный график ИИ: длина задач удваивается за 4 месяца, но суждение хромает

METR обновила график, который меряет, задачи какой длины ИИ выполняет сам: длину считают по времени работы человека. Раньше горизонт передовых моделей удваивался каждые четыре месяца, и в кодинге тренд держится. Но придуманные моделями тесты для ИИ сотрудники METR не сочли полезными ни разу. Значит, силу в коде нельзя переносить на задачи, где нужен вкус и суждение.

AI-обработка оригинала MIT Technology Review; редакция Hamidun News
METR обновил известный график ИИ: длина задач удваивается за 4 месяца, но суждение хромает
Источник: MIT Technology Review. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMIT Technology Review ↗
Главный редактор
Ключевой факт #1Каждые 4 месяца длина задач, доступных моделям, удваивалась
Ключевой факт #2Ни один из тестов, придуманных ИИ, не пригодился исследователям METR
Ключевой факт #3Opus 5.5 дошёл до «почти годится»; год назад все были «явно хуже»

Если вы видели в соцсетях график с растущей кривой «ИИ делает всё более длинные задачи», то, скорее всего, это был график от METR. Его пересказывали десятки раз и так же часто понимали неправильно. Теперь некоммерческая лаборатория, которая оценивает модели, выпустила большое обновление. Для тех, кто строит продукты на агентах, главная новость в том, что кривая в программировании не сломалась, а вот в задачах, где нужно суждение, у моделей всё ещё заметные провалы.

Что вообще показывает этот график

Идея простая. METR берёт большой набор задач, и каждую задачу уже решали живые люди. Сложность задачи измеряют тем, сколько времени человеку понадобилось, чтобы её закончить. Затем смотрят, задачи какой «человеческой длины» модель способна выполнить успешно. Не «час работы ИИ», а «задача, на которую у специалиста уходит час».

Первая версия графика показала: каждые четыре месяца длина задач, с которыми справляются передовые модели, удваивается. Но у набора был перекос. Все задачи были из тех, где результат можно проверить автоматически: тест прошёл или не прошёл. Именно на таких задачах нейросети учат лучше всего. Модель много раз пробует решить задачу, а обучение с подкреплением усиливает то, что привело к успеху, и ослабляет то, что привело к провалу. Поэтому ИИ так силён в коде и математике, где правильность решения проверяется машиной.

Что добавили в новую версию

В обновлённый набор вошли задачи, на которые у человека уходит гораздо больше времени, и более открытые задачи без чёткого критерия успеха. Например, моделям поручили придумать новые тесты для оценки ИИ, которые METR могла бы использовать в собственных исследованиях, а сотрудники организации оценили результат. Хотя лучшие модели сегодня сильнее почти любого человека в разработке ПО, здесь они проиграли: ни один тест, созданный ИИ, не сочли полезным для работы.

В другой задаче модели оценивали философские аргументы, чтобы проверить качество суждений. Тут тоже они уступили людям. Сами исследователи признают, что внутри METR спорят, насколько эта задача связана с автоматизацией ИИ-исследований.

Динамика всё же обнадёживает. Новейшие модели вроде Opus 5.5 чаще получают оценку «чуть выше планки» на задачах про придумывание тестов: для исследований METR этого пока мало, но уже заметный прогресс. Год назад все модели попадали в категорию «явно ниже планки».

Почему это важно и где слабые места

Вокруг темы много напряжения. Ранее в этом месяце METR выпустила другой, сильно отредактированный отчёт, в котором говорилось, что ИИ может ускорять темпы разработки в Anthropic примерно вдвое. Это породило страхи, что компания близка к рекурсивному самоулучшению, когда ИИ сам проектирует своих преемников. Новый отчёт эти страхи не подтверждает и не опровергает, но показывает: пока модели плохо справляются именно с тем, что нужно для такой автоматизации, — с выбором направлений и оценкой идей.

Эксперты, которых цитирует MIT Technology Review, осторожны. Саяш Капур, будущий профессор UC Berkeley, говорит, что оценкам ИИ пора становиться изобретательнее, и считает «исследовательский вкус» (умение выбирать перспективные вопросы и эксперименты) главным узким местом. Он не удивлён провалом на открытых задачах: в его августовском препринте показано, что модели пока не могут самостоятельно воспроизводить исследования людей в информатике. В среду OpenAI написала в блоге, что её модели хуже справляются с реальными задачами сотрудников, чем с более простыми и проверяемыми задачами из исходного набора METR. Другие специалисты, напротив, уверены, что модели, обученные на проверяемых задачах, со временем освоят и открытые.

У нового графика есть честные ограничения. Время выполнения для самых длинных задач в основном оценено, а не измерено: платить людям за сотни часов работы или искать немногих квалифицированных экспертов слишком дорого. В задаче с философскими аргументами большинство аргументов оценил один человек, и агентов судят по тому, насколько их мнение совпало с мнением этого человека. Кроме того, открытых задач в наборе мало, поэтому делать из них прогноз трудно. Мэтт Путц из METR прямо говорит, что для таких задач не получится построить столь же чёткие тренды, как для легко формализуемых. Наджон Ким из Бостонского университета отмечает, что наблюдаемый рост что-то говорит о текущем моменте, но как его экстраполировать, пока непонятно.

Что из этого следует практику

Если вы делаете агентов для кодинга, тестирования или других задач с автоматической проверкой, кривая METR остаётся разумным ориентиром: горизонт растёт быстро. Если же вы поручаете агенту оценку идей, выбор приоритетов или проектирование метрик, закладывайте человека в контур проверки. Результаты на тестах по коду нельзя автоматически переносить на такие задачи. И при чтении любых графиков про «длину задач» помните: они показывают, сколько времени на задачу тратит человек, а не сколько работает модель.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что вообще показывает этот график?

Идея простая. METR берёт большой набор задач, и каждую задачу уже решали живые люди. Сложность задачи измеряют тем, сколько времени человеку понадобилось, чтобы её закончить. Затем смотрят, задачи какой «человеческой длины» модель способна выполнить успешно. Не «час работы ИИ», а «задача, на которую у специалиста уходит час». Первая версия графика показала: каждые четыре месяца длина задач, с которыми справляются передовые модели, удваивается. Но у набора был перекос.

Что известно по теме: что добавили в новую версию?

В обновлённый набор вошли задачи, на которые у человека уходит гораздо больше времени, и более открытые задачи без чёткого критерия успеха. Например, моделям поручили придумать новые тесты для оценки ИИ, которые METR могла бы использовать в собственных исследованиях, а сотрудники организации оценили результат. Хотя лучшие модели сегодня сильнее почти любого человека в разработке ПО, здесь они проиграли: ни один тест, созданный ИИ, не сочли полезным для работы.

Что известно по теме: почему это важно и где слабые места?

Вокруг темы много напряжения. Ранее в этом месяце METR выпустила другой, сильно отредактированный отчёт, в котором говорилось, что ИИ может ускорять темпы разработки в Anthropic примерно вдвое. Это породило страхи, что компания близка к рекурсивному самоулучшению, когда ИИ сам проектирует своих преемников. Новый отчёт эти страхи не подтверждает и не опровергает, но показывает: пока модели плохо справляются именно с тем, что нужно для такой автоматизации, — с выбором направлений и оценкой идей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…