Ollama sur Mac passe à MLX : 1851 tokens/s pour le préremplissage du prompt avec la version 0.19
Ollama, logiciel d'exécution locale de réseaux de neurones, passe en version préliminaire sur MLX, le framework d'Apple qui exploite efficacement la mémoire unifiée du processeur et du GPU. Pour des agents locaux comme Claude Code, cela signifie moins d'attente : la version Ollama 0.19 annonce 1851 tokens/s au préremplissage du prompt et 134 tokens/s à la génération de la réponse. Ces chiffres ont été obtenus sur un seul modèle quantifié en int4 : testez donc votre propre scénario sur un Mac doté de plus de 32 Go de mémoire.
Traité par IA depuis Ollama Blog ; édité par Hamidun News
Si vous avez déjà fait tourner un agent de code sur votre Mac, vous connaissez cette sensation : vous envoyez une requête, puis vous attendez que le modèle « lise » un long contexte avant de commencer à répondre. L'équipe d'Ollama, logiciel populaire d'exécution locale de réseaux de neurones, a publié une version préliminaire qui s'attaque précisément à cette pause. Sur les ordinateurs équipés des puces Apple Silicon, Ollama repose désormais sur MLX, le framework de machine learning maison d'Apple, conçu pour la mémoire unifiée : le processeur et le GPU travaillent dans un même pool partagé, sans recopier les données d'un espace à l'autre.
Le chiffre phare de cette sortie concerne Ollama 0.19 : 1851 tokens par seconde au préremplissage du prompt (l'étape appelée prefill) et 134 tokens par seconde à la génération de la réponse (decode), avec une quantification int4, c'est-à-dire une compression des poids du modèle sur 4 bits. Un token correspond à un fragment de texte, à peu près une syllabe ou un mot court. Le premier chiffre indique la vitesse à laquelle le modèle absorbe votre requête et son contexte, le second la vitesse à laquelle il rédige la réponse.
Ce qui change sous le capot
Auparavant, Ollama sur Mac s'appuyait sur une autre implémentation ; désormais, la base est MLX. Selon les développeurs, tous les appareils Apple Silicon bénéficient de l'accélération. Sur les nouvelles puces M5, M5 Pro et M5 Max, Ollama exploite en plus les neural accelerators intégrés au GPU. Ils réduisent le temps jusqu'au premier token (TTFT), c'est-à-dire la pause entre l'envoi de la requête et le début de la réponse, et augmentent la vitesse de génération.
Les mesures ont été réalisées le 29 mars 2026 sur le modèle Qwen3.5-35B-A3B d'Alibaba. La nouvelle implémentation avec quantification NVFP4 a été comparée à la version précédente, Ollama 0.18, et au format Q4_K_M. Les chiffres de 1851 et 134 tokens/s sont présentés par les auteurs comme attendus pour Ollama 0.19. Ce sont les données des développeurs eux-mêmes, pour une seule combinaison « modèle plus matériel » : sur votre Mac, le résultat sera différent.
NVFP4 et cache pour les agents
La deuxième nouveauté est la prise en charge du format NVFP4 de NVIDIA. Il stocke les poids du modèle sous forme compressée tout en préservant la précision, et allège la charge sur la mémoire et le disque. Concrètement, de plus en plus de fournisseurs d'inférence exécutent leurs modèles en NVFP4. Si vous utilisez le même format en local, les réponses se rapprochent de celles que vous obtiendrez en production. Ollama pourra aussi faire tourner des modèles optimisés avec les outils de NVIDIA. D'autres formats de précision sont promis pour plus tard.
La troisième amélioration concerne le cache, et elle compte pour les agents. Imaginez que Claude Code ouvre plusieurs branches de travail avec un même prompt système et une même description d'outils. Jusqu'ici, cet en-tête commun devait être retraité à chaque fois. Désormais, Ollama réutilise le cache d'une conversation à l'autre : moins de mémoire occupée et davantage de succès de cache lors des ramifications. Par ailleurs, Ollama enregistre des instantanés du cache aux points judicieux du prompt, si bien qu'il ne recalcule pas le texte depuis le début. Les préfixes communs restent disponibles plus longtemps, même lorsque les anciennes branches sont retirées de la mémoire.
Comment essayer et quelles limites
La version préliminaire n'accélère qu'un seul modèle : Qwen3.5-35B-A3B, avec des paramètres d'échantillonnage réglés pour la programmation. Il faut un Mac disposant de plus de 32 Go de mémoire unifiée. Commandes de lancement :
- ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4
- ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4
- ollama run qwen3.5:35b-a3b-coding-nvfp4
Les limites sont claires : il s'agit d'une version préliminaire, la liste des modèles est courte, et les propriétaires de Mac dotés de 16 ou 24 Go de mémoire ne pourront pas utiliser cette configuration. Pour ceux qui ont affiné leurs propres modèles sur des architectures prises en charge, l'équipe promet de simplifier l'import. En attendant, elle élargira la liste des architectures.
Que faire en tant que développeur
Si vous utilisez des agents locaux comme Claude Code, OpenClaw ou Codex sur un Mac doté de beaucoup de mémoire, testez votre scénario habituel sur le nouveau moteur. Mesurez séparément deux indicateurs : le temps jusqu'au premier token et la vitesse de génération. Pour les agents qui retransmettent sans cesse un long contexte, le gain lié au cache peut être plus sensible que l'accélération de la rédaction de la réponse. Ollama mise clairement sur l'association MLX, NVFP4 et les modèles ouverts Qwen. Dans ses remerciements, l'équipe cite les projets MLX, NVIDIA, GGML et llama.cpp, ainsi qu'Alibaba Qwen.
- 21 nov. 2026Mémoire flash pour SSD : les prix chutent de 19 à 32 % sur le marché spot, les disques pourraient devenir moins chers
- 21 nov. 2026Unsloth met à jour ses versions compressées de Qwen3.8-27B : précision en hausse de 5 à 10 % à taille égale
- 21 nov. 2026L'IA écrit du code vulnérable dans 44 % des tests : Positive Technologies donne un scanner aux agents
- 21 nov. 2026Sber sort une enceinte avec GigaChat à 14 990 roubles : la voix fonctionne sans Internet
Questions clés sur cet article
Que sait-on sur Ce qui change sous le capot ?
Auparavant, Ollama sur Mac s'appuyait sur une autre implémentation ; désormais, la base est MLX. Selon les développeurs, tous les appareils Apple Silicon bénéficient de l'accélération. Sur les nouvelles puces M5, M5 Pro et M5 Max, Ollama exploite en plus les neural accelerators intégrés au GPU. Ils réduisent le temps jusqu'au premier token (TTFT), c'est-à-dire la pause entre l'envoi de la requête et le début de la réponse, et augmentent la vitesse de génération.
Que sait-on sur NVFP4 et cache pour les agents ?
La deuxième nouveauté est la prise en charge du format NVFP4 de NVIDIA. Il stocke les poids du modèle sous forme compressée tout en préservant la précision, et allège la charge sur la mémoire et le disque. Concrètement, de plus en plus de fournisseurs d'inférence exécutent leurs modèles en NVFP4. Si vous utilisez le même format en local, les réponses se rapprochent de celles que vous obtiendrez en production. Ollama pourra aussi faire tourner des modèles optimisés avec les outils de NVIDIA.
Comment essayer et quelles limites?
La version préliminaire n'accélère qu'un seul modèle : Qwen3.5-35B-A3B, avec des paramètres d'échantillonnage réglés pour la programmation. Il faut un Mac disposant de plus de 32 Go de mémoire unifiée. Commandes de lancement : ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4 ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4 ollama run qwen3.5:35b-a3b-coding-nvfp4 Les limites sont claires : il s'agit d'une version préliminaire, la liste des modèles est courte, et les…
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.