Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarOllama Blog→ original

Ollama en Mac cambia a MLX: 1851 tokens/s en el procesamiento del prompt con la versión 0.19

Ollama, programa para ejecutar modelos de IA en local, pasa en su versión preliminar a MLX, el framework de Apple que aprovecha de forma eficiente la memoria unificada del procesador y la GPU. Para agentes locales como Claude Code, esto significa menos tiempo de espera: Ollama 0.19 anuncia 1851 tokens/s en el procesamiento del prompt y 134 tokens/s en la generación de la respuesta. Las cifras se obtuvieron con un solo modelo y cuantización int4, así que conviene probar el escenario propio en un Mac con más de 32 GB de memoria.

Procesado por IA desde Ollama Blog; editado por Hamidun News
Ollama en Mac cambia a MLX: 1851 tokens/s en el procesamiento del prompt con la versión 0.19
Fuente: Ollama Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalOllama Blog ↗
Editor jefe
Dato clave #1Un token equivale aproximadamente a una sílaba; prefill es el procesamiento del prompt y decode es la escritura de la respuesta
Dato clave #2La caché del prompt de sistema compartido ahora se reutiliza entre conversaciones
Soporte de NVFP4 de NVIDIAlas respuestas se acercan a las de producción en la nube

Si alguna vez has ejecutado un agente de programación en tu Mac, conoces la sensación: envías una petición, esperas a que el modelo "lea" un contexto largo y solo después empieza a responder. El equipo de Ollama, un programa popular para ejecutar modelos de IA en local, ha lanzado una versión preliminar que ataca precisamente esa pausa. En los equipos con chips Apple Silicon, Ollama ahora se basa en MLX, el framework de Apple para aprendizaje automático diseñado para la memoria unificada, donde el procesador y la GPU trabajan con un mismo pool compartido y no copian datos de un lado a otro.

La cifra principal de la versión Ollama 0.19 es 1851 tokens por segundo en el procesamiento del prompt (esta etapa se denomina prefill) y 134 tokens por segundo en la generación de la respuesta (decode), con cuantización int4, es decir, compresión de los pesos del modelo a 4 bits. Un token es un fragmento de texto, aproximadamente una sílaba o una palabra corta. El primer número indica la rapidez con la que el modelo "procesa" tu consulta y su contexto; el segundo, la rapidez con la que escribe la respuesta.

Qué ha cambiado por dentro

Antes, Ollama en Mac se apoyaba en otra implementación; ahora su base es MLX. Según los desarrolladores, todos los dispositivos con Apple Silicon se benefician de la aceleración. En los nuevos chips M5, M5 Pro y M5 Max, Ollama además usa los neural accelerators de la GPU. Estos reducen el tiempo hasta el primer token (TTFT), es decir, la pausa entre enviar la petición y empezar la respuesta, y aumentan la velocidad de generación.

Las mediciones se realizaron el 29 de marzo de 2026 con el modelo Qwen3.5-35B-A3B de Alibaba. Se comparó la nueva implementación con cuantización NVFP4 frente a la versión anterior, Ollama 0.18, y el formato Q4_K_M. Los autores califican las cifras de 1851 y 134 tokens/s como las esperadas para Ollama 0.19. Son datos de los propios desarrolladores y de una única combinación de modelo y hardware, así que en tu Mac el resultado será distinto.

NVFP4 y caché para agentes

La segunda novedad es el soporte del formato NVFP4 de NVIDIA. Almacena los pesos del modelo de forma comprimida, manteniendo la precisión y reduciendo la carga sobre la memoria y el disco. En la práctica, cada vez más proveedores de inferencia ejecutan modelos en NVFP4. Si usas localmente el mismo formato, las respuestas se parecerán más a las que obtendrás en producción. Además, Ollama podrá ejecutar modelos optimizados con las herramientas de NVIDIA. Otros formatos de precisión llegarán más adelante.

La tercera mejora es la caché, y es importante para los agentes. Imagina que Claude Code abre varias ramas de trabajo con el mismo prompt de sistema y la misma descripción de herramientas. Antes, esa parte común había que volver a procesarla. Ahora Ollama reutiliza la caché entre conversaciones: ocupa menos memoria y acierta más en las bifurcaciones. Además, Ollama guarda instantáneas de la caché en puntos "inteligentes" del prompt, de modo que no recalcula el texto desde el principio. Los prefijos comunes permanecen más tiempo, incluso cuando las ramas antiguas se eliminan de la memoria.

Cómo probarlo y qué limitaciones tiene

La versión preliminar acelera un solo modelo: Qwen3.5-35B-A3B con parámetros de muestreo ajustados para programación. Hace falta un Mac con más de 32 GB de memoria unificada. Los comandos para arrancarlo son:

  • ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4
  • ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4
  • ollama run qwen3.5:35b-a3b-coding-nvfp4

Las limitaciones están claras: es una versión preliminar, la lista de modelos es corta y los propietarios de Mac con 16 o 24 GB de memoria no podrán usar esta configuración. Para quienes hayan entrenado sus propios modelos sobre arquitecturas compatibles, el equipo promete simplificar la importación. Por ahora seguirá ampliando la lista de arquitecturas.

Qué debe hacer el desarrollador

Si usas agentes locales como Claude Code, OpenClaw o Codex en un Mac con mucha memoria, prueba tu flujo habitual en el nuevo motor. Mide por separado dos indicadores: el tiempo hasta el primer token y la velocidad de generación. En agentes que reenvían constantemente contextos largos, la ventaja de la caché puede ser más notable que el aumento de la velocidad de escritura de la respuesta. Ollama apuesta claramente por la combinación de MLX, NVFP4 y los modelos abiertos de Qwen. En sus agradecimientos, los desarrolladores citan a los equipos de MLX, NVIDIA, GGML y llama.cpp, así como a Alibaba Qwen.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué ha cambiado por dentro?

Antes, Ollama en Mac se apoyaba en otra implementación; ahora su base es MLX. Según los desarrolladores, todos los dispositivos con Apple Silicon se benefician de la aceleración. En los nuevos chips M5, M5 Pro y M5 Max, Ollama además usa los neural accelerators de la GPU. Estos reducen el tiempo hasta el primer token (TTFT), es decir, la pausa entre enviar la petición y empezar la respuesta, y aumentan la velocidad de generación.

¿Qué se sabe sobre NVFP4 y caché para agentes?

La segunda novedad es el soporte del formato NVFP4 de NVIDIA. Almacena los pesos del modelo de forma comprimida, manteniendo la precisión y reduciendo la carga sobre la memoria y el disco. En la práctica, cada vez más proveedores de inferencia ejecutan modelos en NVFP4. Si usas localmente el mismo formato, las respuestas se parecerán más a las que obtendrás en producción. Además, Ollama podrá ejecutar modelos optimizados con las herramientas de NVIDIA. Otros formatos de precisión llegarán más adelante.

Cómo probarlo y qué limitaciones tiene?

La versión preliminar acelera un solo modelo: Qwen3.5-35B-A3B con parámetros de muestreo ajustados para programación. Hace falta un Mac con más de 32 GB de memoria unificada. Los comandos para arrancarlo son: ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4 ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4 ollama run qwen3.5:35b-a3b-coding-nvfp4 Las limitaciones están claras: es una versión preliminar, la lista de modelos es corta y los propietarios de Mac con 16 o 24 GB de…

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…