Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИндустрияНаучная статья · В песочницуThe Decoder→ оригинал

Экс-исследователь Коксон заявил, что Anthropic может переобучить Mythos на доле вычислений

Бывший исследователь Джейкоб Коксон заявил, что Anthropic уже может заново обучить модель Mythos на малой доле вычислений, потраченных в первый раз. Основание — слайд из IPO-презентации: он показывает, как росла эффективность обучения для кода с июля 2024 по октябрь 2026 года. Anthropic называет точки внутренними оценками для иллюстрации, так что это мнение, а не факт. Закладывайте в планы быстрое удешевление моделей текущего уровня.

AI-обработка оригинала The Decoder; редакция Hamidun News
Экс-исследователь Коксон заявил, что Anthropic может переобучить Mythos на доле вычислений
Источник: The Decoder. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Decoder ↗
Главный редактор
Ключевой факт #1Коксон проработал в Anthropic около четырёх месяцев и ушёл из-за этого слайда
Ось графика логарифмическаярост в 10 и в 100 раз почти не различим
Ключевой факт #3Коксон просит в следующем году поставить разработку передовых моделей на паузу

Обучение большой языковой модели стоит сотни миллионов долларов на электричество и видеокарты, и от того, насколько быстро эта цена падает, зависят и тарифы на API, и расклад сил между лабораториями. Теперь об этой скорости спорят публично. Джейкоб Коксон, бывший исследователь OpenAI и Anthropic, заявил: Anthropic уже сегодня может заново обучить свою модель Mythos, потратив лишь долю вычислительных мощностей, которые понадобились в первый раз. Свои слова он подкрепляет слайдом из презентации Anthropic для инвесторов перед IPO.

Что нарисовано на слайде

На графике показан «множитель вычислений для предобучения» применительно к коду. Проще говоря, он отвечает на вопрос: во сколько раз меньше мощности нужно сегодня, чтобы получить модель того же уровня, что и раньше. Период охватывает время с июля 2024 по октябрь 2026 года.

Ось, по которой отложены значения, логарифмическая. Это значит, что шкала сжата: рост в 10 раз и рост в 100 раз выглядят на ней почти одинаково. Но даже при такой сжатой шкале линия идёт круто вверх. Именно это Коксон считает важным: если кривая круто растёт на шкале, которая «прячет» масштаб, то реальный рост очень большой, и он ускоряется. Такой режим он называет «сверхэкспонентой»: каждый следующий шаг улучшения даётся быстрее предыдущего.

«Это безумный график, и я удивлён, что они его опубликовали», — написал он в X. По его словам, этот слайд стал одной из главных причин ухода из Anthropic: проработал он там около четырёх месяцев.

Anthropic в подписи к слайду сама оговаривает: точки основаны на внутренних оценках и приведены только для иллюстрации. Точных значений множителя в источнике нет, поэтому проверить масштаб улучшений снаружи нельзя.

Что это значит для Mythos

Mythos — модель, которая весной дала заметный скачок возможностей. Многим он показался разовым прорывом. Коксон видит иначе: по его мнению, Mythos лежит на той же кривой, что и предыдущие улучшения, и ничем из неё не выбивается.

Пример на пальцах. Вы полгода писали сложный сервис, наступая на грабли и пробуя разные архитектуры. Через год вы повторите его за несколько недель, потому что знаете, какие решения работают. Если то же самое происходит с каждым поколением моделей, то уровень, который вчера требовал гигантского кластера, завтра обходится в разы дешевле. Дорогим остаётся только самый передовой рубеж.

Здесь важна честная оговорка. Это слова одного человека, причём уже бывшего сотрудника, и опираются они на график с пометкой «для иллюстрации». Независимого подтверждения того, что Mythos действительно можно переобучить в разы дешевле, нет.

Почему Коксон просит паузу

Из своей оценки он делает радикальный вывод. Алгоритмические улучшения, по его словам, «на грани автоматизации»: ИИ начнёт сам ускорять исследования ИИ. Поэтому он хочет, чтобы в следующем году разработку передовых моделей приостановили и конкуренты успели догнать лидеров.

Логика у него такая: пауза «превратит интеллект человеческого уровня в товар» и «навредит только OpenAI и Anthropic». Если остальные получат тот же уровень, преимущество двух лидеров в сегменте самых дорогих моделей исчезнет. Это довод против распространённого мнения, будто замедление выгодно самим лабораториям.

Коксон привлёк широкое внимание в сентябре публичными предупреждениями о рисках продвинутого ИИ, и другие участники индустрии их повторили. Одно из главных опасений — самоулучшающийся ИИ, который может выйти из-под контроля.

Что делать разработчикам и основателям

Во-первых, закладывайте в финансовую модель продукта быстрое удешевление моделей текущего уровня. Если эффективность обучения растёт так, как показывает слайд, сегодняшние флагманские возможности скоро станут массовыми.

Во-вторых, не строите бизнес на эксклюзивном доступе к одной модели: преимущество, которое держится на уникальности нейросети, быстро растворяется.

В-третьих, относитесь к таким заявлениям как к сигналу, а не к доказательству. График публичный, а внутренние данные Anthropic закрыты. Пока компания не раскроет цифры, о реальной скорости прогресса можно судить по косвенным признакам: ценам на API и темпу выхода новых моделей.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что нарисовано на слайде?

На графике показан «множитель вычислений для предобучения» применительно к коду. Проще говоря, он отвечает на вопрос: во сколько раз меньше мощности нужно сегодня, чтобы получить модель того же уровня, что и раньше. Период охватывает время с июля 2024 по октябрь 2026 года. Ось, по которой отложены значения, логарифмическая. Это значит, что шкала сжата: рост в 10 раз и рост в 100 раз выглядят на ней почти одинаково. Но даже при такой сжатой шкале линия идёт круто вверх.

Что известно по теме: что это значит для Mythos?

Mythos — модель, которая весной дала заметный скачок возможностей. Многим он показался разовым прорывом. Коксон видит иначе: по его мнению, Mythos лежит на той же кривой, что и предыдущие улучшения, и ничем из неё не выбивается. Пример на пальцах. Вы полгода писали сложный сервис, наступая на грабли и пробуя разные архитектуры. Через год вы повторите его за несколько недель, потому что знаете, какие решения работают.

Что известно по теме: почему Коксон просит паузу?

Из своей оценки он делает радикальный вывод. Алгоритмические улучшения, по его словам, «на грани автоматизации»: ИИ начнёт сам ускорять исследования ИИ. Поэтому он хочет, чтобы в следующем году разработку передовых моделей приостановили и конкуренты успели догнать лидеров. Логика у него такая: пауза «превратит интеллект человеческого уровня в товар» и «навредит только OpenAI и Anthropic». Если остальные получат тот же уровень, преимущество двух лидеров в сегменте самых дорогих моделей исчезнет.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…