METR: ИИ ускорил разработку моделей в Anthropic примерно вдвое

Все привыкли слышать, что ИИ пишет код быстрее человека. Но есть вопрос посерьезнее: что будет, когда ИИ начнет ускорять разработку самого ИИ? Независимая организация METR попробовала измерить это на реальной компании. Результат любопытный и не такой фантастический, как можно ожидать, но и не скучный.

Что именно проверяли

Несколько сотрудников METR с августа по октябрь работали внутри Anthropic с расширенным доступом к внутренним данным. Их задача была двойной: понять, насколько ускорился рост возможностей моделей, и какая часть этого ускорения связана именно с использованием ИИ в работе.

Главный ориентир, по которому считали прогресс, называется AECI. Это внутренняя версия индекса возможностей от Epoch AI. С октября 2025 года он растет в 1,9 раза быстрее, чем раньше. Проще говоря, за последний год Anthropic продвинулась примерно настолько же, насколько за два предыдущих.

Что получилось

Итоговая оценка: к октябрю 2026 года темп улучшения моделей вырос примерно вдвое по сравнению с периодом с марта 2024 по октябрь 2025. Авторы честно оговариваются, что цифра приблизительная, и называют широкий диапазон от 1,3x до 3x.

Самое интересное здесь вклад самого ИИ. По оценке METR, около 80% нынешнего ускорения дает именно использование ИИ в исследованиях и разработке. То есть большая часть прироста скорости приходит не от новых GPU и не от найма, а от того, что модели помогают строить следующие модели.

Субъективные оценки сотрудников этому не противоречат. В среднем они считают, что ИИ ускоряет их работу примерно вдвое. В слак-опросах отдельные оценки выросли с 1,2x для Claude 3.7 Sonnet до 12x для самой свежей внутренней модели. Двенадцать раз в опросе приравнивалось к фразе «делаю за день то, на что раньше уходило почти две недели».

Что с ограничениями

Можно ожидать, что где-то рост упрется в потолок: в алгоритмы, вычисления или данные. METR говорит, что очевидных ограничений не нашли, по крайней мере на ближайший год. Ни одно из трех узких мест пока не просматривается.

Но у картины есть слабые места. Во-первых, оценка делалась на одной компании, причем с внутренними метриками, которые снаружи не проверить. Во-вторых, диапазон 1,3x–3x очень широк: нижняя граница выглядит как заметное улучшение, верхняя как другая эпоха. В-третьих, субъективные оценки сотрудников всегда шумные, а разрыв между средними 2x и пиковыми 12x показывает, что эффект сильно зависит от задачи и человека.

Что это значит на практике

Для разработчиков и продактов вывод приземленный. Если даже внутри лаборатории, где люди лучше всех знают модели, ускорение составляет около 2x, то закладывать в планы «в десять раз быстрее» для обычной команды рискованно. Реалистичнее ожидать заметного, но неравномерного выигрыша.

Для основателей важнее другое: темп смены поколений моделей, скорее всего, продолжит расти. Это значит, что продукт, построенный вокруг ограничений текущей модели, может устареть за считаные месяцы. Разумная стратегия строить архитектуру, где модель легко заменить, и регулярно перепроверять, какие обходные решения еще нужны.

Наконец, стоит следить за самой методикой. Независимые аудиты внутренних данных лабораторий становятся нормой, и именно такие отчеты, а не маркетинговые заявления, будут задавать ожидания рынка на следующий год.