Modal acelera a geração do Sakana Namazu em 35% com um modelo de rascunho
Dois fatores dificultam acelerar um LLM para uma API em produção: o alto custo da memória de GPU e a lentidão na geração de respostas. Para o Sakana Namazu, um modelo com aproximadamente um trilhão de parâmetros, a Modal combinou a compressão seletiva dos pesos com um modelo pequeno que propõe continuações para o modelo principal verificar. Segundo a equipe, a latência por token caiu cerca de 35%, e uma única réplica conseguiu atender aproximadamente 40% mais tráfego antes que as filas começassem a crescer.
Processado por IA de Modal Blog; editado por Hamidun News
Se o seu serviço de IA demora para responder, comprar mais GPUs pode ser uma forma cara de contornar o problema. Os aceleradores passam parte do tempo esperando, algumas operações se repetem e o modelo pequeno encarregado de acelerar a geração pode ter dificuldade para prever a continuação. Em uma análise da Modal publicada em 23 de outubro, a equipe mostra como resolveu esses problemas para o Sakana Namazu, um modelo com aproximadamente um trilhão de parâmetros voltado a tarefas empresariais em japonês, buscas na web e execução de código.
O principal resultado da primeira etapa: segundo a Modal, a latência de geração por token caiu cerca de 35%. Uma réplica conseguiu atender aproximadamente 40% mais tráfego antes que as filas começassem a crescer. Por trás desses números estão várias mudanças distintas, e, para quem desenvolve, a sequência de decisões é mais útil do que a promessa de obter a mesma aceleração.
Comprimir os pesos levando em conta as tarefas reais
O Namazu usa uma arquitetura Mixture-of-Experts: o modelo contém vários blocos especializados, e um roteador escolhe quais ativar. Esses blocos concentram a maior parte dos parâmetros. Os engenheiros converteram os especialistas selecionados pelo roteador para NVFP4, um formato de baixa precisão para GPUs NVIDIA Blackwell. O mecanismo de atenção, o roteador e os especialistas compartilhados permaneceram em BF16.
Por que fazer essa seleção? A compressão libera memória, mas avaliações com os testes habituais em inglês podem deixar passar uma piora nas respostas em japonês. Por isso, os parâmetros de compressão foram ajustados com conversas semelhantes às tarefas de produção do Namazu, com uma grande proporção de japonês. Segundo a equipe, o desempenho ao seguir instruções em japonês permaneceu dentro da margem de erro dos testes utilizados em relação à versão do modelo em produção.
Imagine um assistente que redige correspondências comerciais para clientes japoneses. Após a compressão, ele pode continuar resolvendo bem tarefas em inglês, mas ter mais dificuldade para manter a forma de tratamento adequada. A lição prática: o conjunto de avaliação precisa incluir o idioma, o estilo e os casos de uso do seu produto. Uma única classificação geral não basta.
O modelo de rascunho precisa conhecer seu tráfego
A segunda técnica é a decodificação especulativa. Um modelo pequeno propõe vários tokens seguintes, e o modelo grande os verifica em uma única passagem. Quanto mais propostas ele aceita, menos etapas de geração precisa executar.
Um modelo auxiliar genérico tinha dificuldade para prever o estilo empresarial japonês do Namazu: a taxa de aceitação de tokens ficava abaixo de 40%. A equipe treinou seu próprio modelo DFlash com dados representativos do Namazu. Um detalhe importante: os identificadores originais dos tokens foram preservados. Converter uma resposta em texto e depois tokenizá-la novamente pode alterar os limites dos tokens dentro de chamadas de ferramentas e de JSON, mesmo que a sequência de caracteres visível permaneça idêntica.
Após o lançamento da API, surgiram dados para a próxima melhoria. Um novo modelo auxiliar baseado na arquitetura DFlash2 foi treinado com aproximadamente um milhão de solicitações reais. A comparação entre duas configurações idênticas de inferência utilizou mil solicitações reservadas para avaliação, com as configurações de geração dos usuários. O número médio de tokens aceitos por etapa passou de 3,51 para 5,01, um aumento de 43%. A latência p99 caiu de 68 para 52 segundos. Essa métrica representa as respostas lentas: aproximadamente 99% das solicitações são concluídas dentro do tempo indicado.
A fila também faz parte do tempo de resposta
Os engenheiros também eliminaram esperas entre CPU e GPU no ciclo de verificação dos rascunhos, incorporaram kernels de computação mais rápidos e passaram a reutilizar operações de preparação. Ao trabalhar com quatro GPUs, foi necessário garantir uma decisão uniforme sobre a aceitação de tokens: divergências ocasionais entre os dispositivos causavam travamentos.
Separadamente, a equipe alterou a distribuição das solicitações entre as réplicas. O roteador considera onde os cálculos para o início do prompt já estão armazenados em cache e, ao mesmo tempo, acompanha a carga. Isso reduziu as filas e os picos de espera até o primeiro token, embora a velocidade da geração posterior em si não tenha mudado.
O estudo de caso tem limitações importantes: os resultados são publicados pelo fornecedor de infraestrutura, o material não apresenta verificação independente e o custo por solicitação não foi divulgado. Os percentuais de diferentes otimizações não podem ser somados, e mil solicitações não representam qualquer carga futura. Para sua própria API, um primeiro passo razoável é medir separadamente o tempo até o primeiro token, a velocidade de geração e as filas, e depois comparar as mudanças usando as mesmas solicitações. Assim, será possível entender se você precisa de um novo modelo auxiliar, de ajustes na compressão ou de uma correção na distribuição de carga.
- 7 de jul. de 2026Sakana AI lança o Sakana Translate para japonês, inglês e chinês
- 12 de nov. de 2026NVIDIA Vera dobra a velocidade do Modal Sandboxes: até 4.281 tarefas por minuto com 150 contêineres
- 19 de jul. de 2026Sakana AI lança Sakana Marlin, agente que gera relatórios de 100 páginas com slides
- 7 de fev. de 2026PaperBanana: Google ensina redes neurais a criar gráficos que não fazem feio diante dos revisores
Perguntas frequentes sobre a notícia
O que se sabe sobre Comprimir os pesos levando em conta as tarefas reais?
O Namazu usa uma arquitetura Mixture-of-Experts: o modelo contém vários blocos especializados, e um roteador escolhe quais ativar. Esses blocos concentram a maior parte dos parâmetros. Os engenheiros converteram os especialistas selecionados pelo roteador para NVFP4, um formato de baixa precisão para GPUs NVIDIA Blackwell. O mecanismo de atenção, o roteador e os especialistas compartilhados permaneceram em BF16. Por que fazer essa seleção?
O que se sabe sobre O modelo de rascunho precisa conhecer seu tráfego?
A segunda técnica é a decodificação especulativa. Um modelo pequeno propõe vários tokens seguintes, e o modelo grande os verifica em uma única passagem. Quanto mais propostas ele aceita, menos etapas de geração precisa executar. Um modelo auxiliar genérico tinha dificuldade para prever o estilo empresarial japonês do Namazu: a taxa de aceitação de tokens ficava abaixo de 40%. A equipe treinou seu próprio modelo DFlash com dados representativos do Namazu.
O que se sabe sobre A fila também faz parte do tempo de resposta?
Os engenheiros também eliminaram esperas entre CPU e GPU no ciclo de verificação dos rascunhos, incorporaram kernels de computação mais rápidos e passaram a reutilizar operações de preparação. Ao trabalhar com quatro GPUs, foi necessário garantir uma decisão uniforme sobre a aceitação de tokens: divergências ocasionais entre os dispositivos causavam travamentos. Separadamente, a equipe alterou a distribuição das solicitações entre as réplicas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.