METR: модели Anthropic улучшаются вдвое быстрее, чем год назад, во многом благодаря ИИ

Представьте команду разработчиков, у которой каждый инженер вдруг стал работать в разы быстрее благодаря собственному же продукту. Именно это, по новому отчёту METR, сейчас происходит в Anthropic. Компания использует ИИ, чтобы строить более мощный ИИ, и получает заметный эффект.

Что нашли в METR

Метр-исследователи 11 недель работали внутри компании и изучали, как ИИ влияет на её собственные разработки. Главный вывод: модели Anthropic улучшаются примерно вдвое быстрее, чем год назад. По бенчмаркам компания за последний год сделала примерно два года исторического прогресса.

Важная деталь: в METR уверены, что дело не в том, что просто докупили больше вычислений. Раньше именно масштаб был главным двигателем прогресса. Теперь, по оценке исследователей, большая часть ускорения на октябрь связана с самим ИИ, причём его вклад растёт.

Подтверждают это опросы в Slack и интервью. Сотрудники, которые работают с самой сильной внутренней моделью, в среднем оценивают свою продуктивность примерно в 12 раз выше, чем без ИИ. Это примерно вдвое больше, чем они говорили несколько месяцев назад, когда пользовались Mythos 5. Это субъективные оценки, но тренд заметен.

Пока ускорение в основном идёт от того, что ИИ помогает людям-исследователям, а не работает полностью самостоятельно. Однако METR предупреждает, что есть признаки скорого роста роли автономных вкладов. Явных признаков убывающей отдачи или узких мест, которые мешали бы ускоряться дальше, исследователи не нашли.

Модели, которых мы не видим

Значительная часть выигрыша приходится на внутренние модели, недоступные публике. За последние полгода Anthropic закончила обучение трёх новых моделей, которые пока не выпущены. METR называет их Model 2, Model 3 и Model 4 (это условные кодовые имена, внутри компании они другие). Обучение завершилось в июле, в августе–сентябре и в сентябре–октябре соответственно.

Для практика это значит простую вещь: то, чем пользуются разработчики через API, отстаёт от того, чем пользуются внутри лаборатории. Планируя продукт на год вперёд, стоит закладывать, что возможности моделей будут расти быстрее, чем в прошлогодних прогнозах.

Почему исследователи тревожатся

Anthropic разрешили отредактировать итоговый отчёт, и она сделала это активно. По словам METR, для публичной версии вычеркнута большая часть самых информативных доказательств из полного отчёта на примерно 100 страниц. Часть запросов на данные была отклонена, а проверку того, сколько вычислений уходит на безопасность, а не на наращивание возможностей, компания отменила.

Сооснователь Anthropic Сэм Маккэндлиш признал, что это затрудняет проверку, но объяснил решение коммерческой чувствительностью и риском выдать конкурентам «дорожную карту» ускорения. Компания обещает опубликовать собственный отчёт в ближайшие недели.

Критики указывают на противоречие: Anthropic громче других говорит о безопасности, но сама ускоряется. Даниэль Кокотайло обвинил её в «безрассудной игре с нашими жизнями». Марьюс Хоббхан из Apollo Research считает, что темпы даже быстрее сценария AI 2027, и советует «готовиться к безумию». Депутат Алекс Борес призвал Конгресс запретить рекурсивное самоулучшение.

Что с этим делать

Во-первых, не считайте текущие возможности моделей потолком: планируйте продукты с запасом на быстрый рост качества и сокращение цикла между релизами. Во-вторых, следите за регуляторикой: давление на лаборатории усиливается, и требования к прозрачности могут затронуть всех, кто строит на frontier-моделях. В-третьих, относитесь к самоотчётам о продуктивности осторожно: 12-кратный рост основан на опросах, а значительная часть доказательств скрыта. Публике приходится полагаться на оценку METR, а не проверять данные самой.