Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarOllama Blog→ original

Ollama accélère Gemma 4 sur Mac de près de 90 % dans le test de l'agent de code Aider

Ollama 0.31 accélère Gemma 4 sur les Mac équipés d'Apple Silicon de près de 90 % : dans le test Aider polyglot, l'agent de code résout de vraies tâches, et le modèle génère les jetons (fragments de texte) plus vite. Un petit modèle brouillon devine plusieurs jetons à l'avance, puis le grand modèle vérifie l'ensemble en une seule passe et conserve les bons, si bien que la réponse ne change pas. Le code regorge de parenthèses et de motifs répétitifs, si bien que les suppositions tombent souvent juste. Pour les agents locaux, cela réduit les pauses entre les étapes.

Traité par IA depuis Ollama Blog ; édité par Hamidun News
Ollama accélère Gemma 4 sur Mac de près de 90 % dans le test de l'agent de code Aider
Source : Ollama Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireOllama Blog ↗
Rédacteur en chef
MesureGemma 4 12B (nvfp4) sur une puce M5 Max, accélération activée par défaut
Chiffre clé #2La longueur du brouillon est ajustée à la volée ; en cas d'échecs, le mode normal reprend
Chiffre clé #3Un nouveau noyau de vérification de 2 à 8 jetons a été ajouté à MLX pour tous les modèles

Un agent de code local ne ralentit pas à cause d'un modèle faible, mais à cause des pauses : il lit des fichiers, appelle des outils, réfléchit à nouveau, et chaque seconde d'attente s'accumule en minutes. L'équipe d'Ollama (logiciel permettant de faire tourner des réseaux de neurones sur son propre ordinateur) a publié la version 0.31, dans laquelle le modèle Gemma 4 de Google génère des jetons, c'est-à-dire des fragments de texte, près de 90 % plus vite sur les Mac équipés de puces Apple Silicon.

Ce chiffre provient du test Aider polyglot, où un véritable agent de code résout de vraies tâches de programmation et non des énigmes synthétiques. Le résultat produit par le modèle reste pourtant le même, et l'accélération est activée par défaut.

Comment fonctionne la prédiction multi-jetons

Un modèle de langage classique produit le texte jeton par jeton : il réfléchit, écrit un fragment, puis réfléchit à nouveau. La multi-token prediction (MTP, prédiction de plusieurs jetons à la fois) brise cette file d'attente. Gemma 4 est livré avec un petit modèle brouillon rapide. Il fonctionne aux côtés du modèle principal et propose plusieurs jetons suivants d'un coup.

Le modèle principal vérifie ensuite l'ensemble de ces propositions en une seule passe et conserve les jetons qui lui conviennent. C'est comparable à un stagiaire qui esquisse plusieurs lignes de code, tandis qu'un développeur senior accepte d'un coup d'œil les bonnes et raye les erreurs. Si les suppositions sont justes, le modèle valide plusieurs jetons au prix d'un seul.

Le code se prête presque idéalement à ce schéma. Il est truffé de parenthèses fermantes, de noms de variables répétés et de constructions types, si bien que le modèle brouillon devine souvent juste. C'est pourquoi le gain est le plus visible pour les agents de code, qui sollicitent le modèle en permanence.

Les développeurs d'Ollama insistent sur un point : la sortie du modèle ne change pas. Le modèle principal décide de toute façon quels jetons accepter, il ne s'agit donc pas d'une version simplifiée de Gemma 4, mais du même résultat obtenu plus vite.

Trois changements qui produisent l'accélération

Le premier : le réglage automatique de la longueur du brouillon. Il n'existe pas de nombre universel de jetons à proposer à chaque fois. Ce nombre dépend du modèle, de la quantification (compression des poids), du matériel et de la prévisibilité du texte à cet instant.

S'il est trop faible, la vitesse est perdue. S'il est trop élevé, le temps passe à vérifier des suppositions rejetées, et la MTP devient plus lente que la génération classique. Ollama suit la fréquence d'acceptation des suppositions et la durée de la vérification, puis choisit la longueur qui fournit le plus de jetons par seconde.

Lorsque les suppositions cessent de tomber juste, le moteur revient au mode classique à un jeton par étape, et il n'y a donc pas de ralentissement.

Le deuxième : le cycle de génération spéculative lui-même. Le modèle brouillon prédit un jeton, le réinjecte dans son propre entrée et répète l'opération jusqu'à obtenir une courte chaîne. Le modèle principal vérifie la chaîne dans son ensemble. Toutes ces étapes, y compris le choix du jeton, s'exécutent sur le GPU en une seule passe, sans retour vers le CPU. Les jetons rejetés ont déjà été inscrits dans le cache, c'est-à-dire dans l'état de travail du modèle, afin de ne pas recalculer le texte précédent. Le moteur mémorise donc un point de retour avant chaque proposition et, en cas de refus, revient simplement au dernier jeton accepté. Rien de ce qui précède n'est recalculé.

Le troisième : un nouveau noyau pour vérifier le lot. Le coût principal ne vient pas du brouillon, mais de la vérification : le modèle principal est exécuté sur un lot de 2 à 8 jetons. Les noyaux de multiplication matricielle sont généralement optimisés soit pour un seul jeton, soit pour un grand lot, et cette taille intermédiaire ne convient bien à aucun des deux cas.

Ollama a ajouté à MLX (le framework d'apprentissage automatique d'Apple pour Mac) un noyau qui lit et décompresse chaque bloc de poids une seule fois et l'applique à l'ensemble du lot, au lieu de relire les poids pour chaque jeton. Les calculs restent identiques, et le gain provient de la suppression du travail superflu. Ce noyau est disponible dans MLX pour d'autres modèles, et pas seulement pour Gemma 4 dans Ollama.

Ce qu'il faut savoir en pratique

Les mesures ont été réalisées sur le modèle Gemma 4 12B en quantification nvfp4, sur une puce M5 Max. Les auteurs eux-mêmes précisent que le gain de la MTP dépend fortement de la charge de travail, et qu'un test synthétique peut être adapté à n'importe quel résultat. Il ne faut donc pas s'attendre à exactement 90 % sur n'importe quelle tâche : sur un texte imprévisible, les suppositions échoueront plus souvent et le gain diminuera. En revanche, le réglage automatique de la longueur doit prévenir tout ralentissement.

Pour essayer, il faut Ollama 0.31 ou une version plus récente pour macOS. Vous pouvez lancer Gemma 4 avec un agent grâce à la commande ollama launch claude --model gemma4:12b-mlx. Si vous aviez téléchargé Gemma 4 auparavant, il faut mettre le modèle à jour avec ollama pull gemma4:12b-mlx. Selon Ollama, ce mécanisme fonctionne également avec Codex, Droid, OpenCode, Copilot et d'autres outils.

Gemma 4 est le premier modèle à bénéficier de cette accélération, et Ollama promet de l'étendre à d'autres. Pour ceux qui font tourner des agents de code en local sur Mac, c'est un moyen gratuit de réduire l'attente sans changer de modèle et sans perte de qualité.

Dossier

Questions clés sur cet article

Comment fonctionne la prédiction multi-jetons?

Un modèle de langage classique produit le texte jeton par jeton : il réfléchit, écrit un fragment, puis réfléchit à nouveau. La multi-token prediction (MTP, prédiction de plusieurs jetons à la fois) brise cette file d'attente. Gemma 4 est livré avec un petit modèle brouillon rapide. Il fonctionne aux côtés du modèle principal et propose plusieurs jetons suivants d'un coup. Le modèle principal vérifie ensuite l'ensemble de ces propositions en une seule passe et conserve les jetons qui lui conviennent.

Que sait-on sur Trois changements qui produisent l'accélération ?

Le premier : le réglage automatique de la longueur du brouillon. Il n'existe pas de nombre universel de jetons à proposer à chaque fois. Ce nombre dépend du modèle, de la quantification (compression des poids), du matériel et de la prévisibilité du texte à cet instant. S'il est trop faible, la vitesse est perdue. S'il est trop élevé, le temps passe à vérifier des suppositions rejetées, et la MTP devient plus lente que la génération classique.

Que sait-on sur Ce qu'il faut savoir en pratique ?

Les mesures ont été réalisées sur le modèle Gemma 4 12B en quantification nvfp4, sur une puce M5 Max. Les auteurs eux-mêmes précisent que le gain de la MTP dépend fortement de la charge de travail, et qu'un test synthétique peut être adapté à n'importe quel résultat. Il ne faut donc pas s'attendre à exactement 90 % sur n'importe quelle tâche : sur un texte imprévisible, les suppositions échoueront plus souvent et le gain diminuera.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…