Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураОткрытые веса · В работуTG: @ai_machinelearning_big_data (Machinelearning)→ оригинал

В весах DeepSeek нашли следы GPU Blackwell: на B300 совпали 445 из 469 строк

Бывший исследователь OpenAI Уилл Депью нашёл в весах DeepSeek-V4-Flash след видеокарт NVIDIA Blackwell, поставки которых в Китай ограничены США. Перед обучением PyTorch заполняет веса случайными числами, и их раскладка зависит от модели GPU, как порядок раздачи колоды. На B300 (это Blackwell) 445 из 469 строк весов совпали с публикацией до последнего бита, на H100 точных совпадений нет. Это улика про старт обучения, но не про всё обучение.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
В весах DeepSeek нашли следы GPU Blackwell: на B300 совпали 445 из 469 строк
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
Ключевой факт #1Проверены шесть моделей DeepSeek, Moonshot AI, MiniMax и Ant Group
Ключевой факт #2У более ранних моделей этих компаний след указывает на Hopper
Ключевой факт #3Где стояли GPU и чьими были, по этому анализу не установить

Бывший исследователь OpenAI Уилл Депью заявил, что по открытым весам китайских моделей можно вычислить, на какой видеокарте их начинали обучать. В весах DeepSeek-V4-Flash он нашёл отпечаток NVIDIA Blackwell, новейшего поколения GPU, поставки которого в Китай ограничены США. Идея простая: перед обучением PyTorch заполняет веса стартовыми случайными числами прямо на видеокарте, а их раскладка зависит от конфигурации GPU. Депью взял 469 строк из опубликованных весов и воспроизвёл их на реальной NVIDIA B300 (это Blackwell). В 445 строках числа совпали бит в бит, то есть до последнего бита, а на H100 предыдущего поколения точных совпадений не было.

Как видеокарта оставляет отпечаток в модели

Экспортные ограничения на передовые чипы NVIDIA стали одним из главных рычагов давления на китайский ИИ. Но проверить, на чём обучали конкретную модель, почти невозможно: компании о железе молчат или говорят общими словами.

Отпечаток возникает так. Веса нейросети перед обучением заполняют «случайными» числами, на деле псевдослучайными. Раскладка этих чисел по тензору зависит от конфигурации видеокарты. Представьте, что несколько человек раздают одну и ту же колоду, но у каждого свой порядок раздачи. Колода одинаковая, а карты на руках выходят разные.

В опубликованных весах DeepSeek-V4-Flash часть строк сохранила исходные стартовые значения: обучение их не стёрло. Депью взял 469 таких строк и попробовал получить их на реальном железе. На B300 совпали 445, на H100 для этих же строк совпадений не нашлось. Отсюда он делает вывод, что инициализацию делали на GPU поколения Blackwell.

Что показал анализ шести моделей

Депью проверил публичные веса шести моделей DeepSeek, Moonshot AI, MiniMax и Ant Group. Во всех шести он обнаружил следы инициализации на Blackwell. У более ранних моделей тех же компаний анализ указывал на Hopper, то есть на предыдущее поколение.

Картина выглядит логично: отпечаток меняется вместе со сменой железа. У метода есть удобное свойство. Для проверки не нужен доступ к дата-центрам или внутренним документам. Достаточно публичных весов и доступа к нужным GPU для сверки.

Чего этот результат не доказывает

Важно не додумывать лишнего. Результат относится только к этапу инициализации, самому началу пути модели. Какие GPU использовали на остальных этапах обучения, где они стояли и кому принадлежали, по этому анализу установить нельзя. Карты могли быть арендованы, находиться за пределами Китая или использоваться разово.

Совпадение 445 из 469 строк тоже не стопроцентное, а 469 строк отобраны самим автором. В исходном сообщении нет ответа DeepSeek, Moonshot AI, MiniMax или Ant Group и не приводится независимая проверка. Поэтому юридических выводов о нарушении экспортных правил делать нельзя.

Что это значит для разработчиков и основателей

Первое: публичные веса несут больше информации, чем кажется. По ним можно судить не только об архитектуре, но и о железе, на котором началось обучение. Если вы публикуете свои чекпойнты, учтите, что инициализация способна раскрыть вашу инфраструктуру.

Второе: у контроля экспорта чипов может появиться новый инструмент аудита. Если методику подтвердят другие исследователи, её смогут применять регуляторы, аналитики и конкуренты.

Третье: для тех, кто воспроизводит обучение моделей, это напоминание, что результат инициализации зависит от железа. Одинаковое зерно генератора на разных GPU может дать разные стартовые веса. Это важно для воспроизводимости экспериментов и сверки результатов между кластерами.

Итог: это интересная и проверяемая улика, но не приговор. Она показывает, что Blackwell, вероятно, участвовал в старте обучения шести китайских моделей. Как шло остальное обучение, остаётся неизвестным.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как видеокарта оставляет отпечаток в модели?

Экспортные ограничения на передовые чипы NVIDIA стали одним из главных рычагов давления на китайский ИИ. Но проверить, на чём обучали конкретную модель, почти невозможно: компании о железе молчат или говорят общими словами. Отпечаток возникает так. Веса нейросети перед обучением заполняют «случайными» числами, на деле псевдослучайными. Раскладка этих чисел по тензору зависит от конфигурации видеокарты. Представьте, что несколько человек раздают одну и ту же колоду, но у каждого свой порядок раздачи.

Что известно по теме: что показал анализ шести моделей?

Депью проверил публичные веса шести моделей DeepSeek, Moonshot AI, MiniMax и Ant Group. Во всех шести он обнаружил следы инициализации на Blackwell. У более ранних моделей тех же компаний анализ указывал на Hopper, то есть на предыдущее поколение. Картина выглядит логично: отпечаток меняется вместе со сменой железа. У метода есть удобное свойство. Для проверки не нужен доступ к дата-центрам или внутренним документам. Достаточно публичных весов и доступа к нужным GPU для сверки.

Что известно по теме: чего этот результат не доказывает?

Важно не додумывать лишнего. Результат относится только к этапу инициализации, самому началу пути модели. Какие GPU использовали на остальных этапах обучения, где они стояли и кому принадлежали, по этому анализу установить нельзя. Карты могли быть арендованы, находиться за пределами Китая или использоваться разово. Совпадение 445 из 469 строк тоже не стопроцентное, а 469 строк отобраны самим автором. В исходном сообщении нет ответа DeepSeek, Moonshot AI, MiniMax или Ant Group и не приводится независимая проверка.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…