TensorFold 1.2.0 augmente de 44,2% le débit de Qwen3.8-27B sur M3 Ultra à 16 flux

L'auteur du moteur d'inférence local TensorFold a annoncé la sortie de la version 1.2.0. Pour les possesseurs de Mac, l'essentiel de la mise à jour tient en un point : Qwen3.8-27B en poids MLX 4 bits avec le mode DFlash2 est nettement plus rapide qu'en 1.1.9. L'écart se voit surtout en charge parallèle : sur M3 Ultra, le débit cumulé à 16 flux a augmenté de 44,2%. La version ajoute par ailleurs la prise en charge de nouveaux modèles sur Metal, CUDA et Intel Arc.

Mesures sur M3 Ultra et M5 Ultra

La comparaison porte sur un seul et même modèle : Qwen3.8-27B, poids MLX en 4 bits, DFlash2. La référence est TensorFold 1.1.9.

• M3 Ultra : le décodage d'un seul flux est 14,4% plus rapide, et le débit cumulé à 16 flux est supérieur de 44,2%.
• M5 Ultra : un flux unique est 5,8% plus rapide, et à 16 flux le débit cumulé est supérieur de 25,2%.

Les chiffres expliquent la différence entre les deux scénarios. Un flux unique est limité par la vitesse de génération de chaque token, et le gain y reste modeste. Quand les requêtes se multiplient, le moteur exploite mieux le matériel, et le gain est plusieurs fois supérieur. Pour un serveur local qui dessert plusieurs utilisateurs ou des agents parallèles, c'est plus important que la vitesse d'un seul chat.

Fait curieux : sur la puce plus récente, la M5 Ultra, le gain relatif est inférieur à celui de la M3 Ultra. L'auteur n'en explique pas les raisons. À en juger par les chiffres, la M5 Ultra dispose d'une plus grande marge de performance, et les optimisations y rapportent donc un pourcentage moindre. Mais il s'agit d'une hypothèse, pas d'une déclaration du développeur. Le message ne donne pas de valeurs absolues en tokens par seconde : ces données ne permettent donc pas de comparer les deux puces entre elles. On voit seulement le gain par rapport à la version précédente sur chacune d'elles.

L'auteur précise par ailleurs que, dans les scénarios mesurés, l'accélération s'est accompagnée d'une concordance des tokens. Le texte généré est resté identique à celui de la 1.1.9. Le gain s'obtient donc sans compromis sur la qualité.

Nouveaux modèles et nouveau matériel

En plus de l'accélération, la version élargit la liste des configurations prises en charge :

• MiniMax-M3.1-Flash sur Metal, c'est-à-dire sur Mac.
• Version NVFP4 de Qwen3.6-35B-A3B sur CUDA.
• Modèle dense Qwen3.8-27B au format EXL3 sur CUDA.
• Gemma 4 E4B sur Intel Arc Pro B70.

Le dernier point est intéressant : TensorFold sort du duo Apple-Nvidia. Les cartes graphiques Intel Arc Pro sont rarement citées dans les projets d'inférence locale, et l'apparition d'une configuration fonctionnelle offre une alternative à ceux qui montent une station sans Nvidia. Le message ne dit pas à quelle vitesse Gemma 4 E4B tourne sur l'Arc Pro B70 : il s'agit bien d'une prise en charge, et non de résultats de vitesse.

Ce qui change dans les réponses multimodales

La version comporte une réserve dont doivent tenir compte les utilisateurs de modèles visuels. Les réponses de Qwen-VL sur les images peuvent différer de celles que donnait la version 1.1.9. La raison : le prétraitement des images correspond désormais au processeur propre au checkpoint. Auparavant, il s'écartait apparemment de la référence ; la différence corrige donc plutôt le comportement antérieur qu'elle n'en crée un nouveau. Mais si vous comparez des résultats sur un jeu d'images fixe ou si vous menez des tests de régression, il faudra recalculer les sorties après la mise à jour.

Cette réserve concerne uniquement Qwen-VL. L'auteur confirme la concordance des tokens pour les accélérations mesurées, et celles-ci portent sur le modèle textuel Qwen3.8-27B.

La communauté et ce qu'il faut en retenir

L'auteur a remercié dix-neuf contributeurs du projet sur GitHub pour leurs pull requests, relectures, tests, rapports de bugs et accès à du matériel : AbrahamCete, akol1, alexderz, Arminova, BadAd84, BlivionIaG, BobClawblaw, fche, gilby, jrb-ai, jschmied, laudney, Mirrdhyn, mrv777, ppardus, simon-lin88, ThomasHalwax, valacroix et wojo. Ces remerciements spécifiques pour l'accès au matériel expliquent la prise en charge de plateformes aussi diverses : il est peu probable qu'une seule personne possède à la fois un M3 Ultra, un M5 Ultra, des cartes Nvidia et une Intel Arc Pro.

La conclusion pratique est simple. Pour les possesseurs d'un Mac Studio avec M3 Ultra qui font tourner Qwen3.8-27B en MLX 4 bits, la mise à jour a l'effet le plus sensible lorsque plusieurs requêtes arrivent simultanément. Sur M5 Ultra, le gain est plus faible, mais bien réel. Les réserves sont les suivantes : les chiffres proviennent du message de l'auteur, il n'existe pas de mesures indépendantes, et la méthodologie comme les vitesses absolues ne sont pas dévoilées. Avant de basculer la production sur la 1.2.0, il vaut mieux tester votre propre charge et, si vous utilisez Qwen-VL, revérifier les réponses sur les images.