Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarOllama Blog→ original

Ollama no Mac migrou para o MLX: 1851 tokens/s no prefill na versão 0.19

O Ollama, programa para executar modelos de IA localmente, lançou uma prévia que roda no Mac sobre o MLX, framework da Apple que aproveita com eficiência a memória unificada entre CPU e GPU. Para agentes locais como o Claude Code, isso significa menos tempo de espera: a versão 0.19 promete 1851 tokens/s no prefill e 134 tokens/s na geração de respostas. Os números foram obtidos com um único modelo quantizado em int4, então vale testar o seu próprio cenário em um Mac com mais de 32 GB de memória.

Processado por IA de Ollama Blog; editado por Hamidun News
Ollama no Mac migrou para o MLX: 1851 tokens/s no prefill na versão 0.19
Fonte: Ollama Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalOllama Blog ↗
Editor-chefe
Dado-chave #1Token é, aproximadamente, uma sílaba; prefill é o processamento do prompt, e decode é a geração da resposta
Dado-chave #2O cache do prompt de sistema compartilhado agora é reaproveitado entre conversas
Suporte ao NVFP4 da NVIDIArespostas mais próximas do que se vê em produção na nuvem

Se você já rodou um agente de programação no seu Mac, conhece a sensação: envia a requisição e espera o modelo "ler" um contexto longo, e só depois ele começa a responder. A equipe do Ollama, programa popular para executar modelos de IA localmente, lançou uma prévia que ataca justamente essa pausa. Em computadores com chips Apple Silicon, o Ollama agora é construído sobre o MLX, framework de machine learning da própria Apple, feito para a memória unificada, em que CPU e GPU trabalham com um único pool compartilhado e não copiam dados de um lado para o outro.

O principal número do lançamento se refere à versão 0.19 do Ollama: 1851 tokens por segundo no prefill, a etapa de processamento do prompt, e 134 tokens por segundo na geração da resposta (decode), usando quantização int4, ou seja, a compressão dos pesos do modelo para 4 bits. Um token é um pedaço de texto, algo como uma sílaba ou uma palavra curta. O primeiro número indica a velocidade com que o modelo processa a sua requisição e o contexto; o segundo, a velocidade com que ele escreve a resposta.

O que mudou por baixo do capô

Antes, o Ollama no Mac se apoiava em outra implementação; agora a base é o MLX. Segundo os desenvolvedores, todos os dispositivos Apple Silicon receberam aceleração. Nos novos chips M5, M5 Pro e M5 Max, o Ollama usa ainda os neural accelerators da GPU. Eles reduzem o tempo até o primeiro token (TTFT), a pausa entre o envio da requisição e o início da resposta, e aumentam a velocidade de geração.

As medições foram feitas em 29 de março de 2026 com o modelo Qwen3.5-35B-A3B, da Alibaba. A nova implementação, com quantização NVFP4, foi comparada à versão anterior do Ollama, 0.18, e ao formato Q4_K_M. Os valores de 1851 e 134 tokens/s são apresentados pelos próprios autores como esperados para o Ollama 0.19. São dados dos desenvolvedores e de uma única combinação de modelo e hardware, então o resultado no seu Mac pode ser diferente.

NVFP4 e cache para agentes

A segunda novidade é o suporte ao formato NVFP4, da NVIDIA. Ele armazena os pesos do modelo de forma compactada, mantendo a precisão e reduzindo a carga sobre memória e disco. Na prática, cada vez mais provedores de inferência passam a rodar modelos em NVFP4. Se você usa o mesmo formato localmente, as respostas ficam mais próximas das que você obteria em produção. O Ollama também poderá executar modelos otimizados com as ferramentas da NVIDIA. Outros formatos de precisão devem chegar depois.

A terceira melhoria é o cache, e ela é importante para agentes. Imagine que o Claude Code abre várias ramificações de trabalho com o mesmo prompt de sistema e a mesma descrição de ferramentas. Antes, esse bloco inicial precisava ser processado de novo a cada vez. Agora o Ollama reaproveita o cache entre conversas: ocupa menos memória e acerta mais o cache nas bifurcações. Além disso, o Ollama salva snapshots do cache em pontos estratégicos do prompt, então não recalcula o texto desde o início. Os prefixos comuns permanecem por mais tempo, mesmo quando ramificações antigas são removidas da memória.

Como testar e quais são as limitações

A prévia acelera um único modelo: o Qwen3.5-35B-A3B com parâmetros de amostragem ajustados para programação. É preciso um Mac com mais de 32 GB de memória unificada. Os comandos para testar são:

  • ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4
  • ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4
  • ollama run qwen3.5:35b-a3b-coding-nvfp4

As limitações são claras: trata-se de uma prévia, a lista de modelos é curta, e quem tem Mac com 16 ou 24 GB de memória não será atendido por essa configuração. Para quem treinou os próprios modelos em arquiteturas suportadas, a equipe promete simplificar a importação, mas por enquanto vai ampliar a lista de arquiteturas.

O que o desenvolvedor deve fazer

Se você usa agentes locais como Claude Code, OpenClaw ou Codex em um Mac com bastante memória, rode seu cenário habitual no novo motor. Meça dois indicadores separadamente: o tempo até o primeiro token e a velocidade de geração. Para agentes que reenviam contextos longos o tempo todo, o ganho com o cache pode ser mais perceptível do que o aumento na velocidade de escrita da resposta. O Ollama aposta claramente na combinação de MLX, NVFP4 e modelos abertos da Qwen. Nos agradecimentos, os desenvolvedores citam as equipes do MLX, da NVIDIA, do GGML e do llama.cpp, além da Alibaba Qwen.

História

Perguntas frequentes sobre a notícia

O que mudou por baixo do capô?

Antes, o Ollama no Mac se apoiava em outra implementação; agora a base é o MLX. Segundo os desenvolvedores, todos os dispositivos Apple Silicon receberam aceleração. Nos novos chips M5, M5 Pro e M5 Max, o Ollama usa ainda os neural accelerators da GPU. Eles reduzem o tempo até o primeiro token (TTFT), a pausa entre o envio da requisição e o início da resposta, e aumentam a velocidade de geração. As medições foram feitas em 29 de março de 2026 com o modelo Qwen3.5-35B-A3B, da Alibaba.

O que se sabe sobre NVFP4 e cache para agentes?

A segunda novidade é o suporte ao formato NVFP4, da NVIDIA. Ele armazena os pesos do modelo de forma compactada, mantendo a precisão e reduzindo a carga sobre memória e disco. Na prática, cada vez mais provedores de inferência passam a rodar modelos em NVFP4. Se você usa o mesmo formato localmente, as respostas ficam mais próximas das que você obteria em produção. O Ollama também poderá executar modelos otimizados com as ferramentas da NVIDIA. Outros formatos de precisão devem chegar depois.

Como testar e quais são as limitações?

A prévia acelera um único modelo: o Qwen3.5-35B-A3B com parâmetros de amostragem ajustados para programação. É preciso um Mac com mais de 32 GB de memória unificada. Os comandos para testar são: ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4 ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4 ollama run qwen3.5:35b-a3b-coding-nvfp4 As limitações são claras: trata-se de uma prévia, a lista de modelos é curta, e quem tem Mac com 16 ou 24 GB de memória não será atendido por essa configuração.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…