Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarOllama Blog→ original

Ollama acelera Gemma 4 en Mac casi un 90% en la prueba del agente de programación Aider

Ollama 0.31 aceleró Gemma 4 en Mac con Apple Silicon casi un 90%. En la prueba Aider polyglot, el agente de programación resuelve tareas reales y el modelo genera tokens (fragmentos de texto) más rápido. Un modelo borrador pequeño adivina varios tokens por adelantado, y el modelo grande los verifica de una sola pasada y conserva los correctos, por lo que la respuesta no cambia. El código tiene muchos paréntesis y patrones, así que las conjeturas suelen acertar. Para los agentes locales, esto significa menos pausas entre pasos.

Procesado por IA desde Ollama Blog; editado por Hamidun News
Ollama acelera Gemma 4 en Mac casi un 90% en la prueba del agente de programación Aider
Fuente: Ollama Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalOllama Blog ↗
Editor jefe
MediciónGemma 4 12B (nvfp4) en el chip M5 Max, con la aceleración activada por defecto
Dato clave #2La longitud del borrador se ajusta sobre la marcha; si las predicciones fallan, se vuelve al modo normal
Dato clave #3Se añadió a MLX un nuevo kernel para verificar de 2 a 8 tokens, válido para todos los modelos

Un agente de programación local se ralentiza no por un modelo débil, sino por las pausas: lee archivos, invoca herramientas, vuelve a pensar, y cada segundo de espera se acumula en minutos. El equipo de Ollama (programa para ejecutar redes neuronales en tu propio ordenador) lanzó la versión 0.31, en la que el modelo Gemma 4 de Google genera tokens, es decir, fragmentos de texto, casi un 90% más rápido en Mac con chips Apple Silicon. La cifra procede de la prueba Aider polyglot, en la que un agente de programación real resuelve tareas de programación reales, no acertijos sintéticos. El resultado del modelo sigue siendo el mismo, y la aceleración está activada por defecto.

Cómo funciona la predicción de múltiples tokens

Un modelo de lenguaje normal genera texto un token a la vez: piensa, escribe un fragmento, vuelve a pensar. La predicción de múltiples tokens (MTP, por sus siglas en inglés) rompe esa cola. Junto a Gemma 4 se distribuye un pequeño modelo borrador, rápido, que trabaja junto al principal y propone varios tokens siguientes a la vez.

Después, el modelo principal verifica todo el lote de propuestas en una sola pasada y conserva los tokens con los que está de acuerdo. Es como cuando un becario escribe varias líneas de código y un desarrollador senior, de un vistazo, acepta las correctas y tacha las erróneas. Si las conjeturas son acertadas, el modelo confirma varios tokens al precio de uno.

El código encaja casi a la perfección con este esquema. Abunda en paréntesis de cierre, nombres de variables que se repiten y construcciones plantilla, así que el borrador acierta a menudo. Por eso la ganancia es más notable en los agentes de programación, que consultan al modelo constantemente.

Los desarrolladores de Ollama subrayan aparte que la salida del modelo no cambia. El modelo principal sigue decidiendo qué tokens acepta, de modo que no se trata de una versión simplificada de Gemma 4, sino del mismo resultado obtenido más rápido.

Tres cambios que producen la aceleración

Primero: el ajuste automático de la longitud del borrador. No existe un número universal de tokens que convenga proponer de una vez. Depende del modelo, de la cuantización (compresión de los pesos), del hardware y de lo predecible que sea el texto en ese momento.

Si se proponen pocos, se desaprovecha velocidad. Si se proponen muchos, el tiempo se va en verificar predicciones rechazadas y la MTP acaba siendo más lenta que la generación normal. Ollama registra con qué frecuencia se aceptan las conjeturas y cuánto dura la verificación, y elige la longitud con la que sale más tokens por segundo.

Cuando las conjeturas dejan de acertar, el motor vuelve al modo normal de un token a la vez, así que no hay ralentización.

Segundo: el propio ciclo de generación especulativa. El modelo borrador predice un token, lo vuelve a introducir como entrada y repite el proceso hasta obtener una cadena corta. El modelo principal verifica la cadena completa. Todo ello, incluida la selección del token, se ejecuta en la GPU en una sola pasada, sin volver a la CPU. Los tokens rechazados ya se han escrito en la caché, es decir, en el estado de trabajo del modelo, para no recalcular el texto anterior. Por eso el motor guarda un punto de retroceso antes de cada propuesta y, en caso de rechazo, simplemente retrocede al último token aceptado. No se recalcula nada de lo anterior.

Tercero: un nuevo kernel para verificar el lote. El coste principal no está en el borrador, sino en la verificación: el modelo principal se ejecuta sobre un lote de 2 a 8 tokens. Los kernels de multiplicación de matrices suelen estar diseñados para un único token o para lotes grandes, y este tamaño intermedio no encaja bien en ninguno de los dos casos.

Ollama añadió a MLX (el framework de aprendizaje automático de Apple para Mac) un kernel que lee y descomprime cada bloque de pesos una sola vez y lo aplica a todo el lote, en lugar de releer los pesos para cada token. Los cálculos son los mismos; la aceleración viene de eliminar trabajo innecesario. El kernel está disponible en MLX para otros modelos, no solo para Gemma 4 en Ollama.

Lo que conviene saber en la práctica

Las mediciones se hicieron con Gemma 4 12B en cuantización nvfp4 sobre el chip M5 Max. Los propios autores advierten de que la ganancia de MTP depende mucho de la carga de trabajo, y que una prueba sintética puede ajustarse a cualquier resultado. Por tanto, no cabe esperar exactamente un 90% en cualquier tarea: con texto impredecible las conjeturas fallarán más a menudo y la mejora será menor. Eso sí, el ajuste automático de la longitud debería evitar que haya ralentización.

Para probarlo hace falta Ollama 0.31 o posterior para macOS. Se puede lanzar Gemma 4 con el agente mediante el comando ollama launch claude --model gemma4:12b-mlx. Si ya habías descargado Gemma 4 antes, hay que actualizar el modelo con ollama pull gemma4:12b-mlx. Según informa Ollama, el esquema también funciona con Codex, Droid, OpenCode, Copilot y otras herramientas.

Gemma 4 es el primer modelo que recibe esta aceleración, y Ollama promete extenderla a otros. Para quienes ejecutan agentes de programación en local en un Mac, es una forma gratuita de reducir la espera sin cambiar de modelo y sin perder calidad.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona la predicción de múltiples tokens?

Un modelo de lenguaje normal genera texto un token a la vez: piensa, escribe un fragmento, vuelve a pensar. La predicción de múltiples tokens (MTP, por sus siglas en inglés) rompe esa cola. Junto a Gemma 4 se distribuye un pequeño modelo borrador, rápido, que trabaja junto al principal y propone varios tokens siguientes a la vez. Después, el modelo principal verifica todo el lote de propuestas en una sola pasada y conserva los tokens con los que está de acuerdo.

¿Qué se sabe sobre Tres cambios que producen la aceleración?

Primero: el ajuste automático de la longitud del borrador. No existe un número universal de tokens que convenga proponer de una vez. Depende del modelo, de la cuantización (compresión de los pesos), del hardware y de lo predecible que sea el texto en ese momento. Si se proponen pocos, se desaprovecha velocidad. Si se proponen muchos, el tiempo se va en verificar predicciones rechazadas y la MTP acaba siendo más lenta que la generación normal.

¿Qué se sabe sobre Lo que conviene saber en la práctica?

Las mediciones se hicieron con Gemma 4 12B en cuantización nvfp4 sobre el chip M5 Max. Los propios autores advierten de que la ganancia de MTP depende mucho de la carga de trabajo, y que una prueba sintética puede ajustarse a cualquier resultado. Por tanto, no cabe esperar exactamente un 90% en cualquier tarea: con texto impredecible las conjeturas fallarán más a menudo y la mejora será menor. Eso sí, el ajuste automático de la longitud debería evitar que haya ralentización.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…