Together AI lance MiniMax M3 avec 1 million de tokens de contexte et la multimodalité

Together AI a annoncé un partenariat avec MiniMax et mis en production le modèle M3, avec un contexte allant jusqu'à un million de tokens, une multimodalité native et une inférence jusqu'à 125 % plus rapide.

Qu'est-ce que MiniMax M3

MiniMax M3 est le modèle phare de l'entreprise, conçu pour de vraies tâches agentiques : longs documents, bases de code, images, appels d'outils, le tout dans un seul contexte. Les modèles précédents peinaient sur les contextes longs en raison de la complexité quadratique de l'auto-attention (self-attention). M3 règle le problème de façon fondamentalement différente.

L'architecture repose sur MiniMax Sparse Attention (MSA), un mécanisme d'attention parcimonieuse par blocs. Chaque token de la requête n'accède qu'à un nombre limité de blocs pertinents du cache KV, et non à toute la séquence. Résultat : la complexité de calcul cesse de croître de façon quadratique avec la longueur du contexte. Par rapport à M2.7, le prefill est 9 fois plus rapide et le décodage 15 fois plus rapide.

Principales caractéristiques de M3 :

• Fenêtre de contexte jusqu'à 1 million de tokens
• Multimodalité native : texte, code, images
• Prise en charge des scénarios agentiques et des appels d'outils
• Résultats compétitifs en programmation

Comment Together AI a préparé l'infrastructure

Faire tourner un tel modèle en production sans perdre en efficacité n'a rien d'une tâche triviale. MSA calcule l'attention en deux étapes : d'abord la pertinence, pour sélectionner les blocs KV, puis une attention dense entre les tokens de la requête et les blocs retenus. Les implémentations standard n'y parviennent pas.

L'équipe d'ingénierie de Together AI a écrit quatre optimisations clés :

• KV-Block-Major sparse attention kernel : noyau CUDA pour l'attention parcimonieuse par blocs du cache KV, avec réorganisation des données en mémoire selon les spécificités de MSA
• Paged MSA decode : intégration de l'attention paginée pour le décodage avec un contexte d'un million de tokens, sans fragmentation de la mémoire
• Optimized index scoring kernel : calcul de pertinence accéléré pour sélectionner les blocs KV à chaque étape de décodage
• Rust-based multimodal gateway : passerelle de prétraitement des images et des entrées mixtes à latence minimale

Combinées, ces optimisations ont augmenté le débit de 81 % à 125 % selon les niveaux de charge. Les mesures ont été réalisées sur NVIDIA B200.

La suite

MiniMax M3 est déjà disponible via Together AI en tant que service cloud. Les poids ouverts sortiront dans les prochains jours ; ensuite, le modèle pourra être déployé en autonomie ou utilisé comme endpoint d'API directement sur la plateforme Together.

«

Le lancement de M3 en production confirme Together AI comme la plateforme de prédilection pour les modèles qui posent de vrais défis système », selon le blog officiel de l'entreprise.

Ce que cela signifie

La capacité de Together AI à exécuter un modèle à contexte de 1 million de tokens avec une efficacité supérieure de 81 % à 125 % à l'approche standard constitue un signal concurrentiel pour le marché. Pour les développeurs, cela signifie un accès prochain à un puissant agent multimodal via une API simple, sans avoir à maîtriser eux-mêmes les subtilités architecturales de MSA.