Sciforium pousse DeepSeek-V4.1-Flash jusqu'à 1 129 tokens par seconde sur AMD
L'équipe de Sciforium a accéléré DeepSeek-V4.1-Flash sur quatre GPU AMD MI355X : sur du trafic réel, le débit passe de 835 à 1 129 tokens par seconde (P90). Le gain vient du décodage spéculatif : un petit modèle brouillon (drafter) devine plusieurs tokens à l'avance, et le grand modèle les vérifie d'un seul coup. Le drafter a été affiné sur de vraies requêtes de clients, et la longueur de la prédiction est passée de 5 à 7 tokens. Conclusion : adapter le drafter à son propre trafic a apporté environ 35 % de gain, sans toucher aux poids.
Traité par IA depuis X: @0x0SojalSec ; édité par Hamidun News
La vitesse de réponse d'un modèle, c'est de l'argent. Plus un GPU produit de tokens vite, moins il faut de cartes pour absorber le même trafic, et moins l'utilisateur fixe un curseur clignotant. Le dernier résultat de la start-up Sciforium mérite donc l'attention de ceux qui font tourner eux-mêmes de gros modèles en production : leur build de DeepSeek-V4.1-Flash délivre 1 129 tokens de sortie par seconde sur quatre accélérateurs AMD Instinct MI355X. Auparavant, la même configuration en donnait 835.
Ce qui a été accéléré, au juste
Voici les points importants de l'annonce de l'entreprise. La mesure est faite au P90 : il ne s'agit pas du meilleur cas, mais d'un niveau tenu par l'immense majorité des requêtes. Le trafic est réel, issu de clients, et non un test synthétique. Le modèle conserve ses poids d'origine : il n'a été ni distillé ni allégé. Le gain s'établit à environ 35 %.
Les auteurs soulignent aussi le contexte : il y a peu encore, beaucoup doutaient que les cartes graphiques AMD puissent porter de lourdes charges LLM en production au même niveau que Nvidia. Ce cas appuie l'idée qu'avec un bon travail d'ingénierie, l'écart se comble.
Comment fonctionne l'astuce du brouillon
L'accélération repose sur le décodage spéculatif. Imaginez un éditeur chevronné qui relit le texte d'un stagiaire. Écrire de zéro est lent, mais vérifier un paragraphe déjà rédigé est rapide : l'éditeur embrasse d'un regard plusieurs phrases et les approuve d'un coup. Ici, le stagiaire est un petit modèle brouillon (drafter), qui propose plusieurs tokens à l'avance. L'éditeur est le grand DeepSeek-V4.1-Flash, qui vérifie tous les tokens proposés en une seule passe. Si les prédictions sont justes, une seule étape du grand modèle produit plusieurs tokens au lieu d'un. Sinon, le surplus est écarté, et la qualité de la réponse reste celle du grand modèle.
Tout le gain dépend de la fréquence à laquelle le drafter tombe juste. Sciforium a baptisé son approche traffic-tuned speculators : le drafter a été affiné sur des données réelles de clients, c'est-à-dire sur les requêtes et réponses que le modèle voit réellement. Un drafter généraliste devine bien les textes courants, mais trébuche sur les cas spécifiques. Si votre trafic est composé de réponses de support standardisées, de code d'une stack donnée ou de JSON structuré, un drafter entraîné dessus atteint sa cible nettement plus souvent.
Deuxième levier : la longueur de la prédiction. Elle est passée de 5 à 7 tokens à la fois. Cela ne fonctionne que si le drafter est très précis : plus la chaîne est longue, plus le risque est grand qu'il se trompe quelque part vers la fin et que toute la partie qui suit soit perdue. L'allongement n'a été rentable que parce que le drafter s'est mieux calé sur le trafic.
Troisième couche : une optimisation poussée des kernels pour AMD, c'est-à-dire du code de bas niveau qui exécute les calculs sur les MI355X. D'après le billet, l'équipe souligne qu'elle n'a pas eu à réécrire le moteur vLLM : les efforts ont porté sur le drafter et les kernels.
Ce qu'il faut en retenir
Premièrement : si vous hébergez vous-même un modèle ouvert, régler le décodage spéculatif sur votre propre trafic peut apporter des dizaines de pour cent de vitesse, sans perte de qualité et sans changer les poids. C'est moins cher que d'acheter davantage de GPU.
Deuxièmement : cela exige des logs de requêtes réelles. Ceux qui les collectent et savent affiner un petit modèle prennent l'avantage sur ceux qui se contentent d'un drafter générique prêt à l'emploi.
Troisièmement : AMD devient une option opérationnelle en inférence, et non plus une expérience. Pour les fondateurs, c'est un levier de négociation sur le prix du calcul et un moyen de ne pas dépendre d'un seul fournisseur.
Limites
Il s'agit d'une annonce de l'entreprise elle-même, et il n'existe pas encore de mesures indépendantes. Le résultat vaut pour une configuration précise : DeepSeek-V4.1-Flash, quatre MI355X et le trafic des clients de Sciforium. Sur une autre charge, le gain sera différent : pour un chat conversationnel, du code ou de longs raisonnements, la part de prédictions correctes du drafter varie. Le billet ne détaille pas toutes les conditions de mesure, il faut donc comparer ces chiffres à d'autres benchmarks avec prudence. La direction, elle, est claire et reproductible : entraîner le drafter sur ses propres données, ajuster la longueur de la prédiction et optimiser les kernels pour le matériel.
- 18 nov. 2026Une seule virgule chinoise a fait basculer DeepSeek en chinois dans 94% des réponses
- 18 nov. 2026Une IA trouve une faille inconnue dans V8 pour $4,24 en 13 minutes, alors qu'en février elle n'avait rien trouvé pour $350
- 18 nov. 2026Des agents IA ont livré 228 releases d'un jeu sans relecture humaine ; les tests ont renvoyé 25% des tâches
- 18 nov. 2026Tencent Hy4 flash obtient 2,79 sur 4 contre 2,81 pour Haiku 5.5 et coûte 18 fois moins cher par tâche
Questions clés sur cet article
Que sait-on sur Ce qui a été accéléré, au juste ?
Voici les points importants de l'annonce de l'entreprise. La mesure est faite au P90 : il ne s'agit pas du meilleur cas, mais d'un niveau tenu par l'immense majorité des requêtes. Le trafic est réel, issu de clients, et non un test synthétique. Le modèle conserve ses poids d'origine : il n'a été ni distillé ni allégé. Le gain s'établit à environ 35 %.
Comment fonctionne l'astuce du brouillon?
L'accélération repose sur le décodage spéculatif. Imaginez un éditeur chevronné qui relit le texte d'un stagiaire. Écrire de zéro est lent, mais vérifier un paragraphe déjà rédigé est rapide : l'éditeur embrasse d'un regard plusieurs phrases et les approuve d'un coup. Ici, le stagiaire est un petit modèle brouillon (drafter), qui propose plusieurs tokens à l'avance. L'éditeur est le grand DeepSeek-V4.1-Flash, qui vérifie tous les tokens proposés en une seule passe.
Que sait-on sur Ce qu'il faut en retenir ?
Premièrement : si vous hébergez vous-même un modèle ouvert, régler le décodage spéculatif sur votre propre trafic peut apporter des dizaines de pour cent de vitesse, sans perte de qualité et sans changer les poids. C'est moins cher que d'acheter davantage de GPU. Deuxièmement : cela exige des logs de requêtes réelles. Ceux qui les collectent et savent affiner un petit modèle prennent l'avantage sur ceux qui se contentent d'un drafter générique prêt à l'emploi.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.