Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarOllama Blog→ original

Ollama ganhou quase 90% de velocidade no Gemma 4 em Macs com o teste do agente de código Aider

O Ollama 0.31 acelerou o Gemma 4 em Macs com Apple Silicon em quase 90%. No teste Aider polyglot, em que o agente de código resolve tarefas reais, o modelo gera tokens (pedaços de texto) bem mais rápido. Um modelo rascunho pequeno chuta vários tokens à frente, e o modelo principal confere toda a sequência em uma única passada, mantendo os acertos. Como o código tem muitos parênteses e padrões repetidos, os palpites costumam acertar. Para agentes locais, isso significa menos pausas entre uma etapa e outra.

Processado por IA de Ollama Blog; editado por Hamidun News
Ollama ganhou quase 90% de velocidade no Gemma 4 em Macs com o teste do agente de código Aider
Fonte: Ollama Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalOllama Blog ↗
Editor-chefe
MediçãoGemma 4 12B (nvfp4) no chip M5 Max, com a aceleração ativada por padrão
Dado-chave #2O tamanho do rascunho é ajustado em tempo real; quando os palpites erram, o modo normal é usado
Dado-chave #3Um novo kernel para verificar blocos de 2 a 8 tokens foi adicionado ao MLX para todos os modelos

Um agente de código local não fica lento por causa de um modelo fraco, e sim por causa das pausas: ele lê arquivos, chama ferramentas, pensa de novo, e cada segundo de espera se acumula em minutos. A equipe do Ollama (programa para rodar redes neurais no próprio computador) lançou a versão 0.31, na qual o modelo Gemma 4, do Google, gera tokens, ou seja, pedaços de texto, quase 90% mais rápido em Macs com chips Apple Silicon. O número foi obtido no teste Aider polyglot, em que um agente de código real resolve tarefas de programação de verdade, e não quebra-cabeças sintéticos. O resultado produzido pelo modelo continua o mesmo, e a aceleração vem ativada por padrão.

Como funciona a multi-token prediction

Um modelo de linguagem comum gera texto um token por vez: pensa, escreve um pedaço, pensa de novo. A multi-token prediction (MTP, previsão de vários tokens de uma vez) quebra essa fila. O Gemma 4 vem acompanhado de um pequeno modelo rascunho, rápido, que roda ao lado do principal e propõe vários tokens seguintes de uma vez.

Em seguida, o modelo principal confere todo o lote de sugestões em uma única passada e mantém apenas os tokens com os quais concorda. É como um estagiário que escreve algumas linhas de código e um desenvolvedor sênior, com um só olhar, aprova as corretas e descarta as erradas. Quando os palpites estão certos, o modelo fixa vários tokens pelo custo de um.

Para código, esse esquema encaixa quase perfeitamente. Há muitos parênteses de fechamento, nomes de variáveis que se repetem e construções padronizadas, por isso o modelo rascunho acerta com frequência. É justamente por isso que o ganho aparece com mais força em agentes de código, que consultam o modelo o tempo todo.

Os desenvolvedores do Ollama destacam que a saída do modelo não muda. O modelo principal continua decidindo quais tokens aceitar, então não se trata de uma versão simplificada do Gemma 4, e sim do mesmo resultado obtido mais depressa.

Três mudanças que geram a aceleração

A primeira é o ajuste automático do tamanho do rascunho. Não existe um número universal de tokens a propor de cada vez. Ele depende do modelo, da quantização (compressão dos pesos), do hardware e de quão previsível é o texto naquele momento.

Se o rascunho for curto demais, a velocidade fica na mesa. Se for longo demais, o tempo vai para a verificação de palpites rejeitados, e a MTP passa a ser mais lenta que a geração comum. O Ollama acompanha com que frequência os palpites são aceitos e quanto dura a verificação, e escolhe o tamanho que resulta em mais tokens por segundo.

Quando os palpites deixam de acertar, o mecanismo volta ao modo normal, de um token por vez, então não há desaceleração.

A segunda é o próprio ciclo de geração especulativa. O modelo rascunho prevê um token, reinjeta esse token em sua própria entrada e repete o processo até obter uma sequência curta. O modelo principal verifica a sequência inteira. Tudo isso, incluindo a escolha dos tokens, roda na GPU em uma única passada, sem voltar à CPU. Os tokens rejeitados já foram gravados no cache, isto é, no estado de trabalho do modelo, para não recalcular o texto anterior. Por isso o mecanismo registra um ponto de retorno antes de cada sequência e, em caso de rejeição, volta ao último token aceito. Nada do que já foi processado precisa ser recalculado.

A terceira é um novo kernel para verificar o lote. O custo principal não está no rascunho, e sim na verificação: o modelo principal é executado sobre um lote de 2 a 8 tokens. Os kernels de multiplicação de matrizes costumam ser otimizados para um único token ou para lotes grandes, e um tamanho intermediário não se encaixa bem em nenhum dos dois casos.

O Ollama adicionou ao MLX (framework de aprendizado de máquina da Apple para Macs) um kernel que lê e descompacta cada bloco de pesos uma única vez e o aplica a todo o lote, em vez de reler os pesos para cada token. A quantidade de cálculo é a mesma; o ganho vem de eliminar trabalho desnecessário. O kernel está disponível no MLX para outros modelos, não apenas para o Gemma 4 no Ollama.

O que é importante saber na prática

As medições foram feitas com o Gemma 4 12B na quantização nvfp4, no chip M5 Max. Os próprios autores ressalvam que o ganho da MTP depende muito da carga de trabalho, e que um teste sintético pode ser ajustado para produzir qualquer resultado. Por isso, não é realista esperar exatamente 90% em qualquer tarefa: em textos imprevisíveis, os palpites erram mais e o ganho diminui. Em compensação, o ajuste automático do tamanho deve evitar que haja desaceleração.

Para testar, é preciso o Ollama 0.31 ou mais recente para macOS. É possível executar o Gemma 4 com um agente usando o comando ollama launch claude --model gemma4:12b-mlx. Se você já havia baixado o Gemma 4 antes, precisa atualizar o modelo com ollama pull gemma4:12b-mlx. Segundo o Ollama, o esquema também funciona com Codex, Droid, OpenCode, Copilot e outras ferramentas.

O Gemma 4 é o primeiro modelo a receber essa aceleração, e o Ollama promete estendê-la a outros modelos. Para quem roda agentes de código localmente em um Mac, é uma forma gratuita de reduzir a espera sem trocar de modelo e sem perder qualidade.

História

Perguntas frequentes sobre a notícia

Como funciona a multi-token prediction?

Um modelo de linguagem comum gera texto um token por vez: pensa, escreve um pedaço, pensa de novo. A multi-token prediction (MTP, previsão de vários tokens de uma vez) quebra essa fila. O Gemma 4 vem acompanhado de um pequeno modelo rascunho, rápido, que roda ao lado do principal e propõe vários tokens seguintes de uma vez. Em seguida, o modelo principal confere todo o lote de sugestões em uma única passada e mantém apenas os tokens com os quais concorda.

O que se sabe sobre Três mudanças que geram a aceleração?

A primeira é o ajuste automático do tamanho do rascunho. Não existe um número universal de tokens a propor de cada vez. Ele depende do modelo, da quantização (compressão dos pesos), do hardware e de quão previsível é o texto naquele momento. Se o rascunho for curto demais, a velocidade fica na mesa. Se for longo demais, o tempo vai para a verificação de palpites rejeitados, e a MTP passa a ser mais lenta que a geração comum.

O que é importante saber na prática?

As medições foram feitas com o Gemma 4 12B na quantização nvfp4, no chip M5 Max. Os próprios autores ressalvam que o ganho da MTP depende muito da carga de trabalho, e que um teste sintético pode ser ajustado para produzir qualquer resultado. Por isso, não é realista esperar exatamente 90% em qualquer tarefa: em textos imprevisíveis, os palpites erram mais e o ganho diminui. Em compensação, o ajuste automático do tamanho deve evitar que haja desaceleração.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…