Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarOllama Blog→ original

Ollama sur Mac passe à MLX : 1851 tokens/s pour le préremplissage du prompt avec la version 0.19

Ollama, logiciel d'exécution locale de réseaux de neurones, passe en version préliminaire sur MLX, le framework d'Apple qui exploite efficacement la mémoire unifiée du processeur et du GPU. Pour des agents locaux comme Claude Code, cela signifie moins d'attente : la version Ollama 0.19 annonce 1851 tokens/s au préremplissage du prompt et 134 tokens/s à la génération de la réponse. Ces chiffres ont été obtenus sur un seul modèle quantifié en int4 : testez donc votre propre scénario sur un Mac doté de plus de 32 Go de mémoire.

Traité par IA depuis Ollama Blog ; édité par Hamidun News
Ollama sur Mac passe à MLX : 1851 tokens/s pour le préremplissage du prompt avec la version 0.19
Source : Ollama Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireOllama Blog ↗
Rédacteur en chef
Chiffre clé #1Un token correspond à peu près à une syllabe ; le préremplissage (prefill) désigne l'analyse du prompt, le décodage (decode) la rédaction de la réponse
Chiffre clé #2Le cache du prompt système partagé est désormais réutilisé d'une conversation à l'autre
Prise en charge du NVFP4 de NVIDIAles réponses se rapprochent de la production dans le cloud

Si vous avez déjà fait tourner un agent de code sur votre Mac, vous connaissez cette sensation : vous envoyez une requête, puis vous attendez que le modèle « lise » un long contexte avant de commencer à répondre. L'équipe d'Ollama, logiciel populaire d'exécution locale de réseaux de neurones, a publié une version préliminaire qui s'attaque précisément à cette pause. Sur les ordinateurs équipés des puces Apple Silicon, Ollama repose désormais sur MLX, le framework de machine learning maison d'Apple, conçu pour la mémoire unifiée : le processeur et le GPU travaillent dans un même pool partagé, sans recopier les données d'un espace à l'autre.

Le chiffre phare de cette sortie concerne Ollama 0.19 : 1851 tokens par seconde au préremplissage du prompt (l'étape appelée prefill) et 134 tokens par seconde à la génération de la réponse (decode), avec une quantification int4, c'est-à-dire une compression des poids du modèle sur 4 bits. Un token correspond à un fragment de texte, à peu près une syllabe ou un mot court. Le premier chiffre indique la vitesse à laquelle le modèle absorbe votre requête et son contexte, le second la vitesse à laquelle il rédige la réponse.

Ce qui change sous le capot

Auparavant, Ollama sur Mac s'appuyait sur une autre implémentation ; désormais, la base est MLX. Selon les développeurs, tous les appareils Apple Silicon bénéficient de l'accélération. Sur les nouvelles puces M5, M5 Pro et M5 Max, Ollama exploite en plus les neural accelerators intégrés au GPU. Ils réduisent le temps jusqu'au premier token (TTFT), c'est-à-dire la pause entre l'envoi de la requête et le début de la réponse, et augmentent la vitesse de génération.

Les mesures ont été réalisées le 29 mars 2026 sur le modèle Qwen3.5-35B-A3B d'Alibaba. La nouvelle implémentation avec quantification NVFP4 a été comparée à la version précédente, Ollama 0.18, et au format Q4_K_M. Les chiffres de 1851 et 134 tokens/s sont présentés par les auteurs comme attendus pour Ollama 0.19. Ce sont les données des développeurs eux-mêmes, pour une seule combinaison « modèle plus matériel » : sur votre Mac, le résultat sera différent.

NVFP4 et cache pour les agents

La deuxième nouveauté est la prise en charge du format NVFP4 de NVIDIA. Il stocke les poids du modèle sous forme compressée tout en préservant la précision, et allège la charge sur la mémoire et le disque. Concrètement, de plus en plus de fournisseurs d'inférence exécutent leurs modèles en NVFP4. Si vous utilisez le même format en local, les réponses se rapprochent de celles que vous obtiendrez en production. Ollama pourra aussi faire tourner des modèles optimisés avec les outils de NVIDIA. D'autres formats de précision sont promis pour plus tard.

La troisième amélioration concerne le cache, et elle compte pour les agents. Imaginez que Claude Code ouvre plusieurs branches de travail avec un même prompt système et une même description d'outils. Jusqu'ici, cet en-tête commun devait être retraité à chaque fois. Désormais, Ollama réutilise le cache d'une conversation à l'autre : moins de mémoire occupée et davantage de succès de cache lors des ramifications. Par ailleurs, Ollama enregistre des instantanés du cache aux points judicieux du prompt, si bien qu'il ne recalcule pas le texte depuis le début. Les préfixes communs restent disponibles plus longtemps, même lorsque les anciennes branches sont retirées de la mémoire.

Comment essayer et quelles limites

La version préliminaire n'accélère qu'un seul modèle : Qwen3.5-35B-A3B, avec des paramètres d'échantillonnage réglés pour la programmation. Il faut un Mac disposant de plus de 32 Go de mémoire unifiée. Commandes de lancement :

  • ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4
  • ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4
  • ollama run qwen3.5:35b-a3b-coding-nvfp4

Les limites sont claires : il s'agit d'une version préliminaire, la liste des modèles est courte, et les propriétaires de Mac dotés de 16 ou 24 Go de mémoire ne pourront pas utiliser cette configuration. Pour ceux qui ont affiné leurs propres modèles sur des architectures prises en charge, l'équipe promet de simplifier l'import. En attendant, elle élargira la liste des architectures.

Que faire en tant que développeur

Si vous utilisez des agents locaux comme Claude Code, OpenClaw ou Codex sur un Mac doté de beaucoup de mémoire, testez votre scénario habituel sur le nouveau moteur. Mesurez séparément deux indicateurs : le temps jusqu'au premier token et la vitesse de génération. Pour les agents qui retransmettent sans cesse un long contexte, le gain lié au cache peut être plus sensible que l'accélération de la rédaction de la réponse. Ollama mise clairement sur l'association MLX, NVFP4 et les modèles ouverts Qwen. Dans ses remerciements, l'équipe cite les projets MLX, NVIDIA, GGML et llama.cpp, ainsi qu'Alibaba Qwen.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui change sous le capot ?

Auparavant, Ollama sur Mac s'appuyait sur une autre implémentation ; désormais, la base est MLX. Selon les développeurs, tous les appareils Apple Silicon bénéficient de l'accélération. Sur les nouvelles puces M5, M5 Pro et M5 Max, Ollama exploite en plus les neural accelerators intégrés au GPU. Ils réduisent le temps jusqu'au premier token (TTFT), c'est-à-dire la pause entre l'envoi de la requête et le début de la réponse, et augmentent la vitesse de génération.

Que sait-on sur NVFP4 et cache pour les agents ?

La deuxième nouveauté est la prise en charge du format NVFP4 de NVIDIA. Il stocke les poids du modèle sous forme compressée tout en préservant la précision, et allège la charge sur la mémoire et le disque. Concrètement, de plus en plus de fournisseurs d'inférence exécutent leurs modèles en NVFP4. Si vous utilisez le même format en local, les réponses se rapprochent de celles que vous obtiendrez en production. Ollama pourra aussi faire tourner des modèles optimisés avec les outils de NVIDIA.

Comment essayer et quelles limites?

La version préliminaire n'accélère qu'un seul modèle : Qwen3.5-35B-A3B, avec des paramètres d'échantillonnage réglés pour la programmation. Il faut un Mac disposant de plus de 32 Go de mémoire unifiée. Commandes de lancement : ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4 ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4 ollama run qwen3.5:35b-a3b-coding-nvfp4 Les limites sont claires : il s'agit d'une version préliminaire, la liste des modèles est courte, et les…

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…