Modal accélère de 35 % la génération de Sakana Namazu grâce à un modèle brouillon
Deux obstacles freinent l'accélération d'un LLM pour une API de production : la mémoire GPU, coûteuse, et la lenteur de génération des réponses. Pour Sakana Namazu, un modèle d'environ mille milliards de paramètres, Modal a combiné une compression sélective des poids avec un petit modèle qui propose une suite de texte à valider par le modèle principal. Selon l'équipe, la latence par token a baissé d'environ 35 %, et une réplique a pu absorber environ 40 % de trafic en plus avant que les files d'attente ne s'allongent.
Traité par IA depuis Modal Blog ; édité par Hamidun News
Si votre service d'IA met du temps à répondre, acheter des GPU supplémentaires peut s'avérer un moyen coûteux de contourner le problème. Une partie du temps, les accélérateurs attendent ; une partie du travail est répétée ; et le petit modèle censé accélérer la génération devine mal la suite. Dans une analyse de Modal publiée le 23 octobre, l'équipe montre comment ces problèmes ont été résolus pour Sakana Namazu, un modèle d'environ mille milliards de paramètres, orienté vers les tâches métier en japonais, la recherche web et l'exécution de code.
Résultat principal de la première étape : selon Modal, la latence de génération d'un token a baissé d'environ 35 %. Une réplique a pu traiter environ 40 % de trafic en plus avant que les files d'attente ne commencent à grossir. Derrière ces chiffres se cachent plusieurs changements distincts, et pour un développeur, l'enchaînement des décisions est plus utile que la promesse d'une accélération identique.
Compresser les poids en gardant en vue les tâches réelles
Namazu utilise une architecture Mixture-of-Experts : le modèle contient de nombreux blocs spécialisés, et un routeur choisit lesquels activer. L'essentiel des paramètres se trouve dans ces blocs. Ce sont précisément les experts sélectionnables que les ingénieurs ont convertis en NVFP4, un format basse précision pour les GPU NVIDIA Blackwell. Le mécanisme d'attention, le routeur et les experts partagés sont restés en BF16.
Pourquoi une telle sélectivité ? La compression libère de la mémoire, mais une vérification sur les tests habituels en anglais peut laisser passer une dégradation des réponses en japonais. Les paramètres de compression ont donc été réglés sur des dialogues proches des tâches réelles de Namazu, avec une forte proportion de japonais. Selon l'équipe, la qualité d'exécution des instructions en japonais est restée dans la marge d'erreur des tests utilisés, par rapport à la version de production du modèle.
Imaginez un assistant qui rédige des courriers professionnels pour des clients japonais. Après compression, il peut continuer à bien traiter les tâches en anglais, mais respecter moins bien le registre de politesse requis. Conclusion pratique : l'échantillon de validation doit inclure la langue, le style et les scénarios de votre produit. Un classement général ne suffit pas.
Le modèle brouillon doit connaître votre trafic
La deuxième technique est le speculative decoding. Un petit modèle propose plusieurs tokens suivants, et le grand modèle les vérifie en une seule passe. Plus il accepte de propositions, plus les étapes de génération à lancer sont rares.
L'assistant classique prédisait mal le style professionnel japonais de Namazu : la part de tokens acceptés était inférieure à 40 %. L'équipe a entraîné son propre modèle, DFlash, sur des données caractéristiques de Namazu. Détail important : les identifiants de tokens d'origine ont été conservés. Convertir une réponse en texte puis la retokeniser peut modifier les frontières des tokens à l'intérieur des appels d'outils et du JSON, alors que la chaîne visible reste identique.
Après le lancement de l'API, de la matière est apparue pour l'amélioration suivante. Un nouvel assistant, basé sur l'architecture DFlash2, a été entraîné sur environ un million de requêtes réelles. Pour comparer deux configurations de serving identiques, mille requêtes mises de côté, avec des paramètres de génération personnalisés, ont été utilisées. Le nombre moyen de tokens acceptés par étape est passé de 3,51 à 5,01, soit +43 %. La latence p99 a diminué de 68 à 52 secondes. C'est un indicateur des réponses lentes : environ 99 % des requêtes sont traitées dans le temps indiqué.
La file d'attente compte aussi dans le temps de réponse
Les ingénieurs ont également supprimé l'attente entre CPU et GPU dans la boucle de vérification des brouillons, branché des noyaux de calcul plus rapides et réutilisé les opérations préparatoires. Avec quatre GPU, il a fallu garantir une décision unique sur l'acceptation des tokens : un rare désaccord entre appareils provoquait des blocages.
La répartition des requêtes entre répliques a été modifiée séparément. Le routeur tient compte de l'endroit où les calculs du début du prompt sont déjà stockés, tout en surveillant la charge. Cela a réduit les files d'attente et les pics d'attente du premier token, même si la vitesse de la génération elle-même n'a pas changé.
Les limites de ce cas sont importantes : les résultats sont publiés par le fournisseur d'infrastructure, l'article ne contient aucune vérification indépendante et le coût d'une requête n'est pas divulgué. Les pourcentages de différentes optimisations ne s'additionnent pas, et mille requêtes ne représentent pas n'importe quelle charge future. Pour votre propre API, un premier pas raisonnable consiste à mesurer séparément l'attente du premier token, la vitesse de génération et les files d'attente, puis à comparer les changements sur des requêtes identiques. Vous saurez ainsi s'il vous faut un nouvel assistant, un réglage de la compression ou une correction de la répartition de charge.
- 7 juil. 2026Sakana AI lance Sakana Translate pour le japonais, l'anglais et le chinois
- 12 nov. 2026NVIDIA Vera double la vitesse des Modal Sandboxes : jusqu'à 4 281 tâches par minute sur 150 conteneurs
- 19 juil. 2026Sakana AI lance Sakana Marlin, un agent qui produit des rapports de 100 pages avec slides
- 7 févr. 2026PaperBanana : Google apprend aux réseaux de neurones à produire des graphiques présentables devant les relecteurs
Questions clés sur cet article
Que sait-on sur Compresser les poids en gardant en vue les tâches réelles ?
Namazu utilise une architecture Mixture-of-Experts : le modèle contient de nombreux blocs spécialisés, et un routeur choisit lesquels activer. L'essentiel des paramètres se trouve dans ces blocs. Ce sont précisément les experts sélectionnables que les ingénieurs ont convertis en NVFP4, un format basse précision pour les GPU NVIDIA Blackwell. Le mécanisme d'attention, le routeur et les experts partagés sont restés en BF16. Pourquoi une telle sélectivité ?
Que sait-on sur Le modèle brouillon doit connaître votre trafic ?
La deuxième technique est le speculative decoding. Un petit modèle propose plusieurs tokens suivants, et le grand modèle les vérifie en une seule passe. Plus il accepte de propositions, plus les étapes de génération à lancer sont rares. L'assistant classique prédisait mal le style professionnel japonais de Namazu : la part de tokens acceptés était inférieure à 40 %. L'équipe a entraîné son propre modèle, DFlash, sur des données caractéristiques de Namazu.
Que sait-on sur La file d'attente compte aussi dans le temps de réponse ?
Les ingénieurs ont également supprimé l'attente entre CPU et GPU dans la boucle de vérification des brouillons, branché des noyaux de calcul plus rapides et réutilisé les opérations préparatoires. Avec quatre GPU, il a fallu garantir une décision unique sur l'acceptation des tokens : un rare désaccord entre appareils provoquait des blocages. La répartition des requêtes entre répliques a été modifiée séparément.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.