METR обновил известный график ИИ: длина задач удваивается за 4 месяца, но суждение хромает
METR обновила график, который меряет, задачи какой длины ИИ выполняет сам: длину считают по времени работы человека. Раньше горизонт передовых моделей удваивался каждые четыре месяца, и в кодинге тренд держится. Но придуманные моделями тесты для ИИ сотрудники METR не сочли полезными ни разу. Значит, силу в коде нельзя переносить на задачи, где нужен вкус и суждение.
AI-обработка оригинала MIT Technology Review; редакция Hamidun News
Если вы видели в соцсетях график с растущей кривой «ИИ делает всё более длинные задачи», то, скорее всего, это был график от METR. Его пересказывали десятки раз и так же часто понимали неправильно. Теперь некоммерческая лаборатория, которая оценивает модели, выпустила большое обновление. Для тех, кто строит продукты на агентах, главная новость в том, что кривая в программировании не сломалась, а вот в задачах, где нужно суждение, у моделей всё ещё заметные провалы.
Что вообще показывает этот график
Идея простая. METR берёт большой набор задач, и каждую задачу уже решали живые люди. Сложность задачи измеряют тем, сколько времени человеку понадобилось, чтобы её закончить. Затем смотрят, задачи какой «человеческой длины» модель способна выполнить успешно. Не «час работы ИИ», а «задача, на которую у специалиста уходит час».
Первая версия графика показала: каждые четыре месяца длина задач, с которыми справляются передовые модели, удваивается. Но у набора был перекос. Все задачи были из тех, где результат можно проверить автоматически: тест прошёл или не прошёл. Именно на таких задачах нейросети учат лучше всего. Модель много раз пробует решить задачу, а обучение с подкреплением усиливает то, что привело к успеху, и ослабляет то, что привело к провалу. Поэтому ИИ так силён в коде и математике, где правильность решения проверяется машиной.
Что добавили в новую версию
В обновлённый набор вошли задачи, на которые у человека уходит гораздо больше времени, и более открытые задачи без чёткого критерия успеха. Например, моделям поручили придумать новые тесты для оценки ИИ, которые METR могла бы использовать в собственных исследованиях, а сотрудники организации оценили результат. Хотя лучшие модели сегодня сильнее почти любого человека в разработке ПО, здесь они проиграли: ни один тест, созданный ИИ, не сочли полезным для работы.
В другой задаче модели оценивали философские аргументы, чтобы проверить качество суждений. Тут тоже они уступили людям. Сами исследователи признают, что внутри METR спорят, насколько эта задача связана с автоматизацией ИИ-исследований.
Динамика всё же обнадёживает. Новейшие модели вроде Opus 5.5 чаще получают оценку «чуть выше планки» на задачах про придумывание тестов: для исследований METR этого пока мало, но уже заметный прогресс. Год назад все модели попадали в категорию «явно ниже планки».
Почему это важно и где слабые места
Вокруг темы много напряжения. Ранее в этом месяце METR выпустила другой, сильно отредактированный отчёт, в котором говорилось, что ИИ может ускорять темпы разработки в Anthropic примерно вдвое. Это породило страхи, что компания близка к рекурсивному самоулучшению, когда ИИ сам проектирует своих преемников. Новый отчёт эти страхи не подтверждает и не опровергает, но показывает: пока модели плохо справляются именно с тем, что нужно для такой автоматизации, — с выбором направлений и оценкой идей.
Эксперты, которых цитирует MIT Technology Review, осторожны. Саяш Капур, будущий профессор UC Berkeley, говорит, что оценкам ИИ пора становиться изобретательнее, и считает «исследовательский вкус» (умение выбирать перспективные вопросы и эксперименты) главным узким местом. Он не удивлён провалом на открытых задачах: в его августовском препринте показано, что модели пока не могут самостоятельно воспроизводить исследования людей в информатике. В среду OpenAI написала в блоге, что её модели хуже справляются с реальными задачами сотрудников, чем с более простыми и проверяемыми задачами из исходного набора METR. Другие специалисты, напротив, уверены, что модели, обученные на проверяемых задачах, со временем освоят и открытые.
У нового графика есть честные ограничения. Время выполнения для самых длинных задач в основном оценено, а не измерено: платить людям за сотни часов работы или искать немногих квалифицированных экспертов слишком дорого. В задаче с философскими аргументами большинство аргументов оценил один человек, и агентов судят по тому, насколько их мнение совпало с мнением этого человека. Кроме того, открытых задач в наборе мало, поэтому делать из них прогноз трудно. Мэтт Путц из METR прямо говорит, что для таких задач не получится построить столь же чёткие тренды, как для легко формализуемых. Наджон Ким из Бостонского университета отмечает, что наблюдаемый рост что-то говорит о текущем моменте, но как его экстраполировать, пока непонятно.
Что из этого следует практику
Если вы делаете агентов для кодинга, тестирования или других задач с автоматической проверкой, кривая METR остаётся разумным ориентиром: горизонт растёт быстро. Если же вы поручаете агенту оценку идей, выбор приоритетов или проектирование метрик, закладывайте человека в контур проверки. Результаты на тестах по коду нельзя автоматически переносить на такие задачи. И при чтении любых графиков про «длину задач» помните: они показывают, сколько времени на задачу тратит человек, а не сколько работает модель.
- 20 нояб. 2026 г.Nvidia вложила $58,1 млрд в чужие компании за 9 месяцев — в 12 раз больше, чем год назад
- 20 нояб. 2026 г.OpenAI защитила рассуждения GPT-6.2 Astra: успех кражи упал с 54% до 0,2%
- 20 нояб. 2026 г.ИИ собирает молекулы на 95,4% баллов, но в выборе кандидатов в лекарства — лишь около 50%
- 20 нояб. 2026 г.Nvidia близка к покупке Inception за $500 млн ради диффузионных LLM
Вопросы и ответы по материалу
Что известно по теме: что вообще показывает этот график?
Идея простая. METR берёт большой набор задач, и каждую задачу уже решали живые люди. Сложность задачи измеряют тем, сколько времени человеку понадобилось, чтобы её закончить. Затем смотрят, задачи какой «человеческой длины» модель способна выполнить успешно. Не «час работы ИИ», а «задача, на которую у специалиста уходит час». Первая версия графика показала: каждые четыре месяца длина задач, с которыми справляются передовые модели, удваивается. Но у набора был перекос.
Что известно по теме: что добавили в новую версию?
В обновлённый набор вошли задачи, на которые у человека уходит гораздо больше времени, и более открытые задачи без чёткого критерия успеха. Например, моделям поручили придумать новые тесты для оценки ИИ, которые METR могла бы использовать в собственных исследованиях, а сотрудники организации оценили результат. Хотя лучшие модели сегодня сильнее почти любого человека в разработке ПО, здесь они проиграли: ни один тест, созданный ИИ, не сочли полезным для работы.
Что известно по теме: почему это важно и где слабые места?
Вокруг темы много напряжения. Ранее в этом месяце METR выпустила другой, сильно отредактированный отчёт, в котором говорилось, что ИИ может ускорять темпы разработки в Anthropic примерно вдвое. Это породило страхи, что компания близка к рекурсивному самоулучшению, когда ИИ сам проектирует своих преемников. Новый отчёт эти страхи не подтверждает и не опровергает, но показывает: пока модели плохо справляются именно с тем, что нужно для такой автоматизации, — с выбором направлений и оценкой идей.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.