Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуX: @minchoi→ оригинал

Mistral открыла веса Le Chonk на 1 трлн параметров — это №1 среди открытых в FrontierCode

Mistral выложила веса Le Chonk — открытой модели на 1 трлн параметров, которую можно запустить на своих серверах, не отправляя код во внешний API. Это MoE: как фирма на тысячу специалистов, где на вопрос зовут лишь нужных, — тут на каждый токен работают 52 млрд параметров. В бенчмарке Cognition FrontierCode она №1 среди открытых моделей. Командам с закрытым кодом стоит прогнать на ней свои задачи сразу.

AI-обработка оригинала X: @minchoi; редакция Hamidun News
Mistral открыла веса Le Chonk на 1 трлн параметров — это №1 среди открытых в FrontierCode
Источник: X: @minchoi. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @minchoi ↗
Главный редактор
Ключевой факт #1Всего 1 трлн параметров, на каждый токен активны около 52 млрд
Ключевой факт #2Есть версия NVFP4 для GPU Nvidia, поддержка Nvidia — с первого дня
Ключевой факт #3Веса уже на Hugging Face; лицензию и цифры теста в посте не привели

Представьте типичную ситуацию: вы строите кодового ассистента для банка или оборонного подрядчика. Лучшие модели для кода доступны только через чужой API, а отправлять туда исходники нельзя по правилам безопасности. Открытые модели обычно слабее, и приходится выбирать между качеством и контролем. Новость от Mistral как раз про то, что этот выбор может стать менее жёстким: компания опубликовала веса модели Le Chonk на 1 трлн параметров. По данным поста Min Choi в X, это лучшая открытая модель в бенчмарке FrontierCode от Cognition, а Nvidia поддержала её с первого дня.

Что именно вышло

Le Chonk устроена по схеме Mixture of Experts (MoE), то есть «смесь экспертов». Всего в ней 1 трлн параметров, но на обработку каждого токена задействуются только около 52 млрд. Веса уже лежат на Hugging Face. Рядом есть версия в формате NVFP4 — это 4-битное представление чисел, которое Nvidia продвигает для своих GPU. Чем меньше бит на параметр, тем меньше памяти занимают веса и тем быстрее идёт вывод.

Качество оценивали на FrontierCode — бенчмарке Cognition, компании, которая делает кодового агента Devin. В посте сказано, что Le Chonk занимает первое место среди открытых моделей. Сами цифры результата в источнике не приведены, поэтому сравнивать модель с закрытыми конкурентами по этим данным нельзя.

Как понять «1 трлн, но 52 млрд активных»

Возьмите консалтинговую фирму на тысячу специалистов. На каждый вопрос клиента не собирают всех: менеджер-маршрутизатор выбирает нескольких подходящих экспертов. Счёт за работу выходит как у небольшой команды, а знаний в фирме — как у большой. В MoE то же самое: внутри модели много экспертных блоков, а на каждый токен включается лишь их часть.

Практический эффект: скорость и стоимость генерации ближе к модели на 50 с небольшим миллиардов параметров, чем к плотной модели на триллион. Но есть оговорка. Хранить в памяти всё равно нужно все веса, потому что заранее неизвестно, какие эксперты понадобятся следующему токену. По нашей грубой прикидке, при 4 битах на параметр триллион параметров занимает порядка 500 ГБ только под веса, без учёта памяти на контекст. Поэтому версия NVFP4 здесь не бонус, а условие того, чтобы модель можно было запустить на разумном числе ускорителей.

Что с этим делать

Для команд, которые строят кодовых агентов или внутренних ассистентов, новость интересна по трём причинам.

  • Альтернатива закрытым API. Если результат на FrontierCode подтвердится на ваших задачах, появится открытая модель, которую можно развернуть у себя. Это важно, когда код нельзя отправлять во внешние сервисы.
  • Готовность к Nvidia. Поддержка с первого дня означает, что не придётся неделями ждать оптимизированных ядер и рецептов запуска. Для продакшена это нередко важнее разницы в пару пунктов бенчмарка.
  • Экономика вывода. Меньше активных параметров — меньше вычислений на токен. При большой нагрузке именно это определяет стоимость.

Чего пока не известно

Пост очень короткий, и многих деталей в нём нет. Не указаны лицензия (от неё зависит коммерческое использование), размер контекстного окна, требования к железу в конкретных конфигурациях и цифры самого бенчмарка. Неясно и то, насколько FrontierCode отражает реальные задачи: любой публичный бенчмарк стоит дополнять набором задач из вашего репозитория.

Разумный план простой. Прочитать карточку модели на Hugging Face, проверить лицензию, прогнать несколько десятков своих реальных задач (баг-фиксы, ревью, генерация тестов) и сравнить стоимость владения с тем, что вы платите за API сейчас. Если модель действительно лидирует среди открытых, а запуск укладывается в бюджет на GPU, это сильный кандидат на роль основы для самостоятельно развёрнутого кодового агента.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно вышло?

Le Chonk устроена по схеме Mixture of Experts (MoE), то есть «смесь экспертов». Всего в ней 1 трлн параметров, но на обработку каждого токена задействуются только около 52 млрд. Веса уже лежат на Hugging Face. Рядом есть версия в формате NVFP4 — это 4-битное представление чисел, которое Nvidia продвигает для своих GPU. Чем меньше бит на параметр, тем меньше памяти занимают веса и тем быстрее идёт вывод. Качество оценивали на FrontierCode — бенчмарке Cognition, компании, которая делает кодового агента Devin.

Что известно по теме: как понять «1 трлн, но 52 млрд активных»?

Возьмите консалтинговую фирму на тысячу специалистов. На каждый вопрос клиента не собирают всех: менеджер-маршрутизатор выбирает нескольких подходящих экспертов. Счёт за работу выходит как у небольшой команды, а знаний в фирме — как у большой. В MoE то же самое: внутри модели много экспертных блоков, а на каждый токен включается лишь их часть. Практический эффект: скорость и стоимость генерации ближе к модели на 50 с небольшим миллиардов параметров, чем к плотной модели на триллион. Но есть оговорка.

Что известно по теме: что с этим делать?

Для команд, которые строят кодовых агентов или внутренних ассистентов, новость интересна по трём причинам. Альтернатива закрытым API. Если результат на FrontierCode подтвердится на ваших задачах, появится открытая модель, которую можно развернуть у себя. Это важно, когда код нельзя отправлять во внешние сервисы. Готовность к Nvidia. Поддержка с первого дня означает, что не придётся неделями ждать оптимизированных ядер и рецептов запуска. Для продакшена это нередко важнее разницы в пару пунктов бенчмарка.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…