Mistral выпустила Timestral: модель на 209M параметров лидирует в трёх бенчмарках

Mistral AI выпустила Timestral, свою первую линейку фундаментальных моделей для прогнозирования временных рядов. Старшая версия насчитывает всего 209M параметров, но по результатам Mistral занимает первое место в трёх главных публичных бенчмарках: GIFT-Eval, TIME и fev-bench. Предыдущий рекордсмен был примерно на треть крупнее. Среди предобученных zero-shot моделей Timestral лидирует по всем пяти метрикам, причём результаты получены на одном чекпойнте, без ансамблирования.

Зачем нужны фундаментальные модели для рядов

Временные ряды есть в любом предприятии: телеметрия датчиков, метрики наблюдаемости, финансовые потоки, складские остатки. На них строят планирование мощностей, энергетики, цепочек поставок и обслуживания оборудования. Классические ARIMA и линейная регрессия обучаются на истории одного ряда и ничего не знают о соседних. Нейросети вроде PatchTST ловят нелинейные закономерности между связанными рядами, но их обычно тренируют с нуля под каждый датасет, и накопленное не переносится в новые области.

Timestral использует подход, знакомый по языковым моделям: предобучение на большом и разнородном корпусе, после чего модель прогнозирует данные, которых раньше не видела. Это полезно там, где истории мало. Mistral называет три ингредиента рецепта: синтетическое предобучение, внимание с учётом ковариат и обучение на длинном контексте.

Размеры, скорость и сравнение с конкурентами

Семейство состоит из четырёх моделей с общей архитектурой и одним рецептом обучения. По данным Mistral, каждая из них лежит на границе Парето «точность против размера»: на своём масштабе лучше публичной модели нет.

• Размеры: 5M, 28M, 123M и 209M параметров.
• 209M обходит TimesFM-3 и Falcon-2.0 при меньшем числе параметров.
• 28M опережает Chronos-2, который примерно в четыре раза больше, на GIFT-Eval и TIME.
• 123M отстаёт от 209M лишь на 0,2% по баллу, но работает при трёх четвертях задержки.
• 28M в пять раз быстрее старшей модели.
• Выборка в таблицах: 83 сопоставимые записи в GIFT-Eval, 35 в TIME, 37 в fev-bench.

GPU для инференса не нужен. На стандартном серверном CPU с 8 потоками прогноз на сутки вперёд по трём неделям 15-минутной истории занимает 10 мс у модели на 5M и 140 мс у модели на 209M. Результаты отправлены в таблицы лидеров GIFT-Eval и TIME.

Что умеет на практике

Mistral показывает возможности на примере промышленного предприятия с тысячами датчиков. Модель прогнозирует связанные ряды совместно: вибрация, температура и давление насоса зависят друг от друга, и Timestral использует эти связи, а не рассматривает каждый датчик отдельно. Прогноз вероятностный, то есть модель выдаёт набор квантилей. Команда видит ширину неопределённости, настраивает пороги тревог под неё и планирует обслуживание с учётом риска, а не по одной цифре. Модель принимает как ковариаты, известные только по прошлому, так и те, что известны наперёд, например производственный график. Поддерживаются и категориальные ковариаты.

Кому и как это применять

Для команд, у которых прогнозы живут в виде набора скриптов на ARIMA или самописных нейросетей, Timestral даёт готовую базовую линию без обучения: достаточно подать историю и получить квантили. Отсутствие требований к GPU означает, что модель можно запускать рядом с данными на обычных серверах, а при тысячах рядов выбирать между 28M ради скорости и 209M ради точности. Для специфичных доменов Mistral предлагает дообучение через Forge. Перед внедрением стоит прогнать модель на собственных исторических данных и сравнить с текущим решением: публичные бенчмарки показывают общий уровень, но не гарантируют результат на конкретных датчиках или финансовых рядах.