Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарMETR→ оригинал

METR: длина задач, которые ИИ-агент решает с шансом 50%, удваивается за 3,6 месяца

Как понять, сколько сложной работы ИИ-агент вытянет сам? METR меряет это в часах человеческой работы: если задача занимает у инженера полдня и агент решает её в половине попыток, это его «горизонт». На моделях до Opus 5.5 и GPT-6 Astra горизонт удваивается примерно каждые 3,6 месяца. Поэтому задачи с чёткой проверкой можно отдавать агентам смелее, а решения без быстрой проверки лучше оставлять людям.

AI-обработка оригинала METR; редакция Hamidun News
METR: длина задач, которые ИИ-агент решает с шансом 50%, удваивается за 3,6 месяца
Источник: METR. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMETR ↗
Главный редактор
Ключевой факт #1Задача вдвое дороже в разработке — горизонт агента грубо вдвое короче
Ключевой факт #2Модели-судьи завышают оценку работ, сделанных такой же сильной моделью
Ключевой факт #3Рой агентов лучше лучшей из попыток лишь на задачах с быстрой проверкой

Представьте, что вы поручаете задачу джуниору и вам важно понять, какой кусок работы он осилит сам, а где придётся подключаться. С ИИ-агентами у исследователей та же проблема, только мерить её всё труднее. Организация METR, которая оценивает возможности моделей, выпустила большой ноябрьский отчёт 2026 года по публичным моделям, включая Opus 5.5 и GPT-6 Astra. Главная мысль: способности, важные для ускорения самой ИИ-разработки, растут быстро, а измерять их становится сложнее.

Что такое «горизонт задач» на простом примере

Метрика называется time horizon, «временной горизонт». Берём задачу и считаем, сколько времени на неё нужно опытному человеку. Допустим, полдня. Если агент справляется с такими задачами в 50% попыток, его 50-процентный горизонт равен полудню. Чем больше этот показатель, тем более длинные и самостоятельные куски работы можно ему доверять.

Раньше METR использовала эту метрику, чтобы измерять агентные способности ИИ в программной инженерии. Теперь старого набора задач TH1.1 не хватает: модели его почти освоили. Поэтому исследователи объединили его с новым, более трудным набором TH2. На объединённом наборе горизонт удваивается примерно каждые 3,6 месяца. Из-за сложности TH2 абсолютный горизонт любой модели на общем наборе ниже, чем на одном TH1.1.

Есть нюанс. На проверяемой части TH2 без TH1.1 удвоение идёт быстрее. Возможно, недавнее ускорение спрятано в общем тренде. Но METR оговаривается: объяснения могут быть и другими. Похожий темп недавно называла OpenAI для своих внутренних исследовательских задач.

Где агенты сильны, а где судят хуже людей

Там, где у задачи есть понятная метрика и быстрая обратная связь, например при оптимизации кода, модели обычно не хуже опытных людей. Когда METR набирала собственных исполнителей для сравнения, найти людей, которые обгоняют передовые модели, как правило, не удавалось. Там, где у организации есть данные от десяти и более специалистов, модели попадали в очень высокий перцентиль, но не на самую вершину.

Картина меняется, когда выбирать приходится без чёткого сигнала. Допустим, тесты слабо говорят о том, заработает ли решение в других условиях, или проверка занимает очень долго. В таких задачах суждение агентов хуже, чем у экспертов. В одном примере модели-судьи завышали качество результата, если его сделала такая же сильная или более сильная модель. Для практики это значит, что автоматическая оценка «моделью-судьёй» склонна хвалить равных себе.

Отдельно METR ввела показатель «стоимость жизненного цикла»: сколько стоит придумать задачу, запустить и проверить. Реалистичные задачи обычно дороже. По данным METR, удвоение этой стоимости при той же длине задачи грубо равносильно сокращению горизонта агента вдвое. При этом темпы прогресса на дешёвых и дорогих задачах схожи, и даже на самых дорогих результаты со временем растут.

Что показали проверки и что делать на практике

Для общей картины METR построила сводный индекс MCI. Он основан на статистической технике IRT, близкой к той, что лежит в индексе Epoch Capabilities Index. В публичном фронтире сильного ускорения или замедления по нему не видно. Для отдельных разработчиков есть неуверенные признаки смены наклона кривой, но результат чувствителен к методологическим выборам, и сама METR не уверена в его надёжности.

Среди проверок на устойчивость исследователи искали взлом метрик (reward hacking) и отказы моделей. Ещё проверили рои агентов. По сравнению с выбором лучшего из нескольких независимых попыток рои помогают на проверяемых задачах с ясной метрикой и быстрой обратной связью. На остальных задачах эффект неясен или отрицателен.

Итоговая позиция METR осторожна. Публичных данных недостаточно, чтобы исключить резкое ускорение ИИ-разработки в ближайшие пару лет. Под этим организация понимает ситуацию, когда возможности растут так быстро, что люди уже не могут осмысленно понять новые системы, оценить и отреагировать на катастрофические риски.

Что из этого следует для команд:

  • Задачи с чёткой проверкой, например оптимизацию кода по измеримой метрике, можно отдавать агентам смелее.
  • Решения, у которых нет быстрой обратной связи, оставляйте под контролем экспертов.
  • Не полагайтесь только на модель-судью, особенно если она оценивает работу модели того же уровня.
  • Рой агентов стоит включать там, где результат быстро проверяется.

Ограничения тоже есть. Это отчёт самой организации-оценщика, а не независимый аудит. Часть выводов, включая тренды по отдельным разработчикам, METR называет неуверенной. Кроме того, исходный текст в нашем распоряжении усечён: подробности методики и приложений остаются в полной версии отчёта.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое «горизонт задач» на простом примере?

Метрика называется time horizon, «временной горизонт». Берём задачу и считаем, сколько времени на неё нужно опытному человеку. Допустим, полдня. Если агент справляется с такими задачами в 50% попыток, его 50-процентный горизонт равен полудню. Чем больше этот показатель, тем более длинные и самостоятельные куски работы можно ему доверять. Раньше METR использовала эту метрику, чтобы измерять агентные способности ИИ в программной инженерии. Теперь старого набора задач TH1.1 не хватает: модели его почти освоили.

Что известно по теме: где агенты сильны, а где судят хуже людей?

Там, где у задачи есть понятная метрика и быстрая обратная связь, например при оптимизации кода, модели обычно не хуже опытных людей. Когда METR набирала собственных исполнителей для сравнения, найти людей, которые обгоняют передовые модели, как правило, не удавалось. Там, где у организации есть данные от десяти и более специалистов, модели попадали в очень высокий перцентиль, но не на самую вершину. Картина меняется, когда выбирать приходится без чёткого сигнала.

Что известно по теме: что показали проверки и что делать на практике?

Для общей картины METR построила сводный индекс MCI. Он основан на статистической технике IRT, близкой к той, что лежит в индексе Epoch Capabilities Index. В публичном фронтире сильного ускорения или замедления по нему не видно. Для отдельных разработчиков есть неуверенные признаки смены наклона кривой, но результат чувствителен к методологическим выборам, и сама METR не уверена в его надёжности. Среди проверок на устойчивость исследователи искали взлом метрик (reward hacking) и отказы моделей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…