Mistral lance Timestral : un modèle de 209M de paramètres en tête de trois benchmarks

Mistral AI a lancé Timestral, sa première gamme de modèles de fondation pour la prévision de séries temporelles. La version la plus grande ne compte que 209M de paramètres, mais, selon les résultats publiés par Mistral, elle prend la première place sur les trois principaux benchmarks publics : GIFT-Eval, TIME et fev-bench. Le précédent recordman était environ un tiers plus gros. Parmi les modèles pré-entraînés en zero-shot, Timestral est en tête sur les cinq métriques, avec des résultats obtenus sur un seul checkpoint, sans ensembling.

Pourquoi des modèles de fondation pour les séries temporelles

Toute entreprise manipule des séries temporelles : télémétrie de capteurs, métriques d'observabilité, flux financiers, stocks en entrepôt. Elles servent de base à la planification des capacités, à l'énergie, à la chaîne logistique et à la maintenance des équipements. Les méthodes classiques, comme ARIMA et la régression linéaire, apprennent sur l'historique d'une seule série et ignorent tout des séries voisines. Les réseaux de neurones de type PatchTST captent les régularités non linéaires entre séries liées, mais on les entraîne en général from scratch pour chaque jeu de données, et ce qu'ils ont appris ne se transfère pas à de nouveaux domaines.

Timestral reprend une approche connue des modèles de langage : un pré-entraînement sur un corpus vaste et hétérogène, après quoi le modèle prévoit des données qu'il n'a jamais vues. C'est utile quand l'historique est court. Mistral cite trois ingrédients de sa recette : le pré-entraînement synthétique, l'attention tenant compte des covariables et l'entraînement sur contexte long.

Tailles, vitesse et comparaison avec la concurrence

La famille se compose de quatre modèles qui partagent la même architecture et la même recette d'entraînement. Selon Mistral, chacun se situe sur la frontière de Pareto « précision contre taille » : à son échelle, aucun modèle public ne fait mieux.

• Tailles : 5M, 28M, 123M et 209M de paramètres.
• Le modèle de 209M devance TimesFM-3 et Falcon-2.0 avec moins de paramètres.
• Le modèle de 28M devance Chronos-2, environ quatre fois plus gros, sur GIFT-Eval et TIME.
• Le modèle de 123M ne reste qu'à 0,2% du score du 209M, avec trois quarts de la latence.
• Le modèle de 28M est cinq fois plus rapide que le plus grand.
• Échantillon dans les tableaux : 83 entrées comparables dans GIFT-Eval, 35 dans TIME, 37 dans fev-bench.

L'inférence ne nécessite pas de GPU. Sur un CPU serveur standard à 8 threads, une prévision à un jour à partir de trois semaines d'historique à 15 minutes prend 10 ms avec le modèle de 5M et 140 ms avec celui de 209M. Les résultats ont été soumis aux classements de GIFT-Eval et de TIME.

Ce que le modèle sait faire en pratique

Mistral illustre les capacités du modèle avec l'exemple d'un site industriel équipé de milliers de capteurs. Le modèle prévoit conjointement les séries liées : la vibration, la température et la pression d'une pompe dépendent les unes des autres, et Timestral exploite ces relations au lieu de traiter chaque capteur isolément. La prévision est probabiliste : le modèle renvoie un ensemble de quantiles.

L'équipe voit ainsi la largeur de l'incertitude, règle ses seuils d'alerte en conséquence et planifie la maintenance en tenant compte du risque, plutôt qu'à partir d'un chiffre unique. Le modèle accepte aussi bien les covariables connues seulement pour le passé que celles connues à l'avance, comme un planning de production. Les covariables catégorielles sont également prises en charge.

Pour qui et comment l'utiliser

Pour les équipes dont les prévisions reposent sur un assemblage de scripts ARIMA ou de réseaux de neurones maison, Timestral fournit une baseline prête à l'emploi, sans entraînement : il suffit de lui passer l'historique pour obtenir des quantiles. L'absence de contrainte GPU permet de l'exécuter à proximité des données, sur des serveurs ordinaires, et, face à des milliers de séries, de choisir entre le modèle de 28M pour la vitesse et celui de 209M pour la précision. Pour les domaines spécifiques, Mistral propose le fine-tuning via Forge.

Avant de déployer, il vaut mieux tester le modèle sur ses propres données historiques et le comparer à la solution en place : les benchmarks publics donnent un niveau général, mais ne garantissent pas le résultat sur des capteurs ou des séries financières précis.