Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИндустрияAPI / Продукт · В работуSimon Willison→ оригинал

Anthropic перенесла Claude на чипы AMD за три дня силами модели Mythos

На роуд-шоу перед IPO Anthropic раскрыла новые детали про вычисления. Claude обучают и запускают на AWS Trainium, Google TPU, NVIDIA и AMD, хотя раньше многие считали такую мультичиповость пустой тратой сил. С AMD в этом году помогла модель Mythos: по словам сооснователя Тома Брауна, она подняла Claude на этих GPU за три дня почти без участия людей.

AI-обработка оригинала Simon Willison; редакция Hamidun News
Anthropic перенесла Claude на чипы AMD за три дня силами модели Mythos
Источник: Simon Willison. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникSimon Willison ↗
Главный редактор
Ключевой факт #1Раньше новая архитектура чипа стоила месяцев работы десятков инженеров
Ключевой факт #2Claude написал или перенёс почти 100% ядер для AMD
Ключевой факт #3Компания делает ставку на множители compute: 4x значит 25 единиц вместо 100

Anthropic начала IPO-роуд-шоу, и в ролике для инвесторов оказалось то, чего раньше не публиковали: как компания на самом деле устроена внутри на уровне железа. Самый интересный кусок — раздел про вычисления, который ведёт сооснователь Том Браун. Для всех, кто строит инфраструктуру под LLM, это редкий взгляд изнутри.

Четыре семейства чипов вместо одного

Bраун говорит, что Claude теперь обучают и обслуживают на всех четырёх крупных семействах чипов: AWS Trainium, Google TPU, NVIDIA GPU и AMD GPU. По его словам, это стало возможным из-за нестандартной ставки, сделанной давно. Тогда многие считали, что гонять модели на разных чипах не стоит усилий.

У этих сомнений была причина. Под каждый чип нужен свой софтверный стек и свой стек инференса. Это дорого и сложно. Если вы когда-нибудь портировали код с CUDA на что-то другое, вы знаете, как это выглядит: ядра, то есть низкоуровневые функции, которые реально считают матрицы на конкретном железе, приходится переписывать почти с нуля.

Anthropic занимается этим уже годы и, по словам Брауна, «невероятно в этом преуспела». Косвенный намёк на мультичиповость был ещё в сентябре. В разборе трёх недавних сбоев компания описывала баги, которые затронули только развёртывания на TPU. То есть одна и та же модель действительно крутится на разных платформах, и ошибки у них бывают разными.

Mythos поднял Claude на AMD за три дня

Самая яркая цифра касается AMD. В этом году Anthropic впервые начала работать с GPU этого производителя. Раньше подключение новой чиповой платформы занимало месяцы работы десятков инженеров. На этот раз задачу отдали модели Mythos.

По словам Брауна, она запустила Claude на AMD за три дня почти без вмешательства людей. Claude перенёс или написал почти 100% ядер.

Для практика это важный сигнал. Портирование ядер считалось тем самым «дорогим и скучным» трудом, который держит инженеров рядом с одним вендором. Если LLM действительно закрывает большую часть такой работы, стоимость отказа от привязки к одному поставщику GPU падает. Это аргумент и в переговорах о цене железа.

Множители compute и разговор о самоулучшении

Второй источник преимущества Браун называет скоростью открытия «множителей вычислений». Anthropic смотрит на итоговый эффективный compute: физическая мощность, умноженная на найденные множители.

Пример из ролика. Допустим, для обучения модели определённого уровня нужно 100 единиц compute. Множитель 4x означает, что ту же модель можно обучить на 25 единицах. Либо можно потратить все сто и получить модель умнее, которая раньше потребовала бы 400.

По словам Брауна, множители складываются: каждый новый усиливает действие предыдущих, и такое преимущество трудно скопировать. Дальше идёт самое смелое заявление. По мнению компании, процесс может ускориться по мере приближения к рекурсивному самоулучшению, когда Claude сможет находить множители целиком сам.

Что здесь стоит держать в голове

Первое: это материалы для инвесторов, а не независимый отчёт. Цифры вроде «три дня» и «почти 100% ядер» названы одним из основателей и никак не проверены. Нет и деталей: какие именно ядра, насколько близка производительность к NVIDIA, сколько часов человеческой проверки всё же ушло.

Второе: рекурсивное самоулучшение здесь пока заявка на будущее. Это не результат, который кто-то измерил. Относиться к нему стоит как к стратегии компании и аргументу для IPO.

Третье: официальной расшифровки видео нет. Саймон Уиллисон извлёк транскрипт сам с помощью MacWhisper и выложил его, так что цитаты стоит сверять с ним.

Практический вывод для команд, которые строят собственный инференс. Если вы откладывали поддержку второго вендора из-за цены портирования ядер, пора проверить эту оценку заново. Попробуйте отдать сильной модели небольшое ядро с тестами и посчитать, сколько часов инженера это реально сэкономило. Даже если у вас результат будет скромнее трёх дней, граница «дорого и не стоит усилий» уже сдвинулась.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: четыре семейства чипов вместо одного?

Bраун говорит, что Claude теперь обучают и обслуживают на всех четырёх крупных семействах чипов: AWS Trainium, Google TPU, NVIDIA GPU и AMD GPU. По его словам, это стало возможным из-за нестандартной ставки, сделанной давно. Тогда многие считали, что гонять модели на разных чипах не стоит усилий. У этих сомнений была причина. Под каждый чип нужен свой софтверный стек и свой стек инференса. Это дорого и сложно.

Что известно по теме: Mythos поднял Claude на AMD за три дня?

Самая яркая цифра касается AMD. В этом году Anthropic впервые начала работать с GPU этого производителя. Раньше подключение новой чиповой платформы занимало месяцы работы десятков инженеров. На этот раз задачу отдали модели Mythos. По словам Брауна, она запустила Claude на AMD за три дня почти без вмешательства людей. Claude перенёс или написал почти 100% ядер. Для практика это важный сигнал. Портирование ядер считалось тем самым «дорогим и скучным» трудом, который держит инженеров рядом с одним вендором.

Что известно по теме: множители compute и разговор о самоулучшении?

Второй источник преимущества Браун называет скоростью открытия «множителей вычислений». Anthropic смотрит на итоговый эффективный compute: физическая мощность, умноженная на найденные множители. Пример из ролика. Допустим, для обучения модели определённого уровня нужно 100 единиц compute. Множитель 4x означает, что ту же модель можно обучить на 25 единицах. Либо можно потратить все сто и получить модель умнее, которая раньше потребовала бы 400.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…