Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
InfraestruturaAPI / Produto · Pronto p/ usoModal Blog→ original

Modal acelera a geração do Sakana Namazu em 35% com um modelo de rascunho

Dois fatores dificultam acelerar um LLM para uma API em produção: o alto custo da memória de GPU e a lentidão na geração de respostas. Para o Sakana Namazu, um modelo com aproximadamente um trilhão de parâmetros, a Modal combinou a compressão seletiva dos pesos com um modelo pequeno que propõe continuações para o modelo principal verificar. Segundo a equipe, a latência por token caiu cerca de 35%, e uma única réplica conseguiu atender aproximadamente 40% mais tráfego antes que as filas começassem a crescer.

Processado por IA de Modal Blog; editado por Hamidun News
Modal acelera a geração do Sakana Namazu em 35% com um modelo de rascunho
Fonte: Modal Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalModal Blog ↗
Editor-chefe
Dado-chave #1A compressão foi avaliada com conversas em japonês representativas das tarefas do modelo.
Dado-chave #2O modelo auxiliar foi treinado com os IDs originais dos tokens, preservando seus limites dentro de JSON.
Dado-chave #3Os resultados foram obtidos com a carga de trabalho da Sakana; sua API precisa de medições próprias.

Se o seu serviço de IA demora para responder, comprar mais GPUs pode ser uma forma cara de contornar o problema. Os aceleradores passam parte do tempo esperando, algumas operações se repetem e o modelo pequeno encarregado de acelerar a geração pode ter dificuldade para prever a continuação. Em uma análise da Modal publicada em 23 de outubro, a equipe mostra como resolveu esses problemas para o Sakana Namazu, um modelo com aproximadamente um trilhão de parâmetros voltado a tarefas empresariais em japonês, buscas na web e execução de código.

O principal resultado da primeira etapa: segundo a Modal, a latência de geração por token caiu cerca de 35%. Uma réplica conseguiu atender aproximadamente 40% mais tráfego antes que as filas começassem a crescer. Por trás desses números estão várias mudanças distintas, e, para quem desenvolve, a sequência de decisões é mais útil do que a promessa de obter a mesma aceleração.

Comprimir os pesos levando em conta as tarefas reais

O Namazu usa uma arquitetura Mixture-of-Experts: o modelo contém vários blocos especializados, e um roteador escolhe quais ativar. Esses blocos concentram a maior parte dos parâmetros. Os engenheiros converteram os especialistas selecionados pelo roteador para NVFP4, um formato de baixa precisão para GPUs NVIDIA Blackwell. O mecanismo de atenção, o roteador e os especialistas compartilhados permaneceram em BF16.

Por que fazer essa seleção? A compressão libera memória, mas avaliações com os testes habituais em inglês podem deixar passar uma piora nas respostas em japonês. Por isso, os parâmetros de compressão foram ajustados com conversas semelhantes às tarefas de produção do Namazu, com uma grande proporção de japonês. Segundo a equipe, o desempenho ao seguir instruções em japonês permaneceu dentro da margem de erro dos testes utilizados em relação à versão do modelo em produção.

Imagine um assistente que redige correspondências comerciais para clientes japoneses. Após a compressão, ele pode continuar resolvendo bem tarefas em inglês, mas ter mais dificuldade para manter a forma de tratamento adequada. A lição prática: o conjunto de avaliação precisa incluir o idioma, o estilo e os casos de uso do seu produto. Uma única classificação geral não basta.

O modelo de rascunho precisa conhecer seu tráfego

A segunda técnica é a decodificação especulativa. Um modelo pequeno propõe vários tokens seguintes, e o modelo grande os verifica em uma única passagem. Quanto mais propostas ele aceita, menos etapas de geração precisa executar.

Um modelo auxiliar genérico tinha dificuldade para prever o estilo empresarial japonês do Namazu: a taxa de aceitação de tokens ficava abaixo de 40%. A equipe treinou seu próprio modelo DFlash com dados representativos do Namazu. Um detalhe importante: os identificadores originais dos tokens foram preservados. Converter uma resposta em texto e depois tokenizá-la novamente pode alterar os limites dos tokens dentro de chamadas de ferramentas e de JSON, mesmo que a sequência de caracteres visível permaneça idêntica.

Após o lançamento da API, surgiram dados para a próxima melhoria. Um novo modelo auxiliar baseado na arquitetura DFlash2 foi treinado com aproximadamente um milhão de solicitações reais. A comparação entre duas configurações idênticas de inferência utilizou mil solicitações reservadas para avaliação, com as configurações de geração dos usuários. O número médio de tokens aceitos por etapa passou de 3,51 para 5,01, um aumento de 43%. A latência p99 caiu de 68 para 52 segundos. Essa métrica representa as respostas lentas: aproximadamente 99% das solicitações são concluídas dentro do tempo indicado.

A fila também faz parte do tempo de resposta

Os engenheiros também eliminaram esperas entre CPU e GPU no ciclo de verificação dos rascunhos, incorporaram kernels de computação mais rápidos e passaram a reutilizar operações de preparação. Ao trabalhar com quatro GPUs, foi necessário garantir uma decisão uniforme sobre a aceitação de tokens: divergências ocasionais entre os dispositivos causavam travamentos.

Separadamente, a equipe alterou a distribuição das solicitações entre as réplicas. O roteador considera onde os cálculos para o início do prompt já estão armazenados em cache e, ao mesmo tempo, acompanha a carga. Isso reduziu as filas e os picos de espera até o primeiro token, embora a velocidade da geração posterior em si não tenha mudado.

O estudo de caso tem limitações importantes: os resultados são publicados pelo fornecedor de infraestrutura, o material não apresenta verificação independente e o custo por solicitação não foi divulgado. Os percentuais de diferentes otimizações não podem ser somados, e mil solicitações não representam qualquer carga futura. Para sua própria API, um primeiro passo razoável é medir separadamente o tempo até o primeiro token, a velocidade de geração e as filas, e depois comparar as mudanças usando as mesmas solicitações. Assim, será possível entender se você precisa de um novo modelo auxiliar, de ajustes na compressão ou de uma correção na distribuição de carga.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Comprimir os pesos levando em conta as tarefas reais?

O Namazu usa uma arquitetura Mixture-of-Experts: o modelo contém vários blocos especializados, e um roteador escolhe quais ativar. Esses blocos concentram a maior parte dos parâmetros. Os engenheiros converteram os especialistas selecionados pelo roteador para NVFP4, um formato de baixa precisão para GPUs NVIDIA Blackwell. O mecanismo de atenção, o roteador e os especialistas compartilhados permaneceram em BF16. Por que fazer essa seleção?

O que se sabe sobre O modelo de rascunho precisa conhecer seu tráfego?

A segunda técnica é a decodificação especulativa. Um modelo pequeno propõe vários tokens seguintes, e o modelo grande os verifica em uma única passagem. Quanto mais propostas ele aceita, menos etapas de geração precisa executar. Um modelo auxiliar genérico tinha dificuldade para prever o estilo empresarial japonês do Namazu: a taxa de aceitação de tokens ficava abaixo de 40%. A equipe treinou seu próprio modelo DFlash com dados representativos do Namazu.

O que se sabe sobre A fila também faz parte do tempo de resposta?

Os engenheiros também eliminaram esperas entre CPU e GPU no ciclo de verificação dos rascunhos, incorporaram kernels de computação mais rápidos e passaram a reutilizar operações de preparação. Ao trabalhar com quatro GPUs, foi necessário garantir uma decisão uniforme sobre a aceitação de tokens: divergências ocasionais entre os dispositivos causavam travamentos. Separadamente, a equipe alterou a distribuição das solicitações entre as réplicas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…