Mistral выложила Large 4 с открытыми весами: 1 трлн параметров, 52 млрд активных

Французская Mistral, судя по посту в X, выложила на Hugging Face открытые веса Large 4. Это модель на 1 трлн параметров с архитектурой, где на каждый токен задействованы 52 млрд. Контекстное окно — 1 млн токенов. Лицензия — модифицированная MIT с отдельным исключением для model-as-a-service. Автор поста также приводит цену в API и снижение стоимости прохождения задач индекса интеллекта на 63%. Важная оговорка: источник — одиночный пост с крошечным охватом, ссылки на официальный анонс или карточку модели в тексте нет. Поэтому все цифры ниже — это заявления автора, а не проверенные данные.

Что заявлено в архитектуре и контексте

Соотношение 52 млрд активных параметров к 1 трлн общих означает примерно 5% весов на токен. Такой разреженный подход (mixture-of-experts) позволяет держать огромную ёмкость модели и при этом платить за инференс как за заметно меньшую плотную сеть. Для тех, кто хостит модель сам, это не отменяет главного ограничения: в памяти придётся держать все веса, то есть триллион параметров. Даже в низкой точности это кластер серьёзного размера, а не одна рабочая станция.

Контекст в 1 млн токенов — заявка на работу с большими кодовыми базами, длинными документами и многошаговыми агентными сценариями. Пост ничего не говорит о том, как качество держится на длинной дистанции. Заявленный размер окна и реальная способность находить и использовать информацию на его краях — разные вещи, и это нужно проверять независимыми тестами.

Лицензия: MIT с оговоркой

Автор называет лицензию модифицированной MIT с исключением для model-as-a-service. Полный текст поста не раскрывает формулировку. По названию можно предположить, что исключение ограничивает коммерческий хостинг самой модели как сервиса третьими сторонами, но это догадка, а не факт. Для компаний, которые планируют использовать Large 4 внутри продуктов, вероятно, ограничений будет немного. Провайдеры инференса и перепродавцы доступа к API должны сначала прочитать оригинальный текст лицензии. Пока он не изучен, называть Large 4 полностью свободной моделью в духе чистой MIT рано.

Цены и экономика задач

Автор указывает, что стоимость прохождения одной задачи индекса интеллекта упала на 63% и теперь составляет $2,06. Название индекса и модель, с которой идёт сравнение, в посте не приведены. Если взять цифры буквально, предыдущая стоимость была около $5,57 за задачу — это наш расчёт по заявленному проценту, а не данные автора. Падение стоимости задачи складывается из цены токенов и из того, сколько токенов модель тратит на рассуждение: дешёвый тариф не помогает, если ответ получается многословным.

Тарифы API — $0,70 за миллион входных токенов и $2,10 за миллион выходных. Выходные дороже входных ровно в три раза. Для сценариев с длинным контекстом и короткими ответами, например поиска по документам или ревью кода, такая структура выгодна. Для генерации больших объёмов текста или длинных цепочек рассуждений основной счёт будет формироваться выходными токенами.

Что проверить до внедрения

Минимальный набор шагов для команды, которая рассматривает Large 4:

• сверить пост с официальным анонсом Mistral и карточкой модели на Hugging Face;
• прочитать полный текст лицензии и условия исключения для model-as-a-service;
• выяснить, какой именно индекс и какая базовая модель стоят за снижением стоимости на 63%;
• прогнать собственные задачи на длинном контексте, не полагаясь на заявленный 1 млн;
• оценить требования к памяти для самостоятельного хостинга триллионной модели.

Если заявления подтвердятся, Large 4 станет одной из самых крупных моделей с открытыми весами, у которой есть и публичные веса, и недорогой API. Сейчас же перед нами сообщение без источника в виде документации. Разумно воспринимать его как повод проверить информацию, а не как основание менять архитектуру продукта.