Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Wildberries reduziu o tempo de resposta do assistente de IA de 10,9 para 3,6 s com o DFlash 2

A cada mensagem, o assistente da Wildberries faz cerca de 26 chamadas ao LLM, e o usuário espera a cadeia inteira. A equipe adotou o DFlash 2: um modelo-rascunho pequeno adivinha os próximos tokens, e o modelo grande verifica todos eles em uma única passagem. Em produção, a mediana do tempo de processamento de mensagem caiu de 10,9 para 3,6 s, embora não tenha sido mudada apenas a decodificação. Para respostas JSON curtas, os rascunhistas paralelos são mais vantajosos.

Processado por IA de Habr AI; editado por Hamidun News
Wildberries reduziu o tempo de resposta do assistente de IA de 10,9 para 3,6 s com o DFlash 2
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1No banco de testes, os líderes aceleraram o turno em duas vezes; com 128 usuários, em 1,4 vez
O EAGLE-3 é 11–23% mais lento que o DFlasho rascunho é construído um token por vez
Dado-chave #3A cabeça MTP do próprio modelo, ajustada ao domínio, entrega ×1,7–1,8 contra ×2

Quando você escreve para o assistente de IA de uma loja, por trás de uma única mensagem há uma cadeia inteira de chamadas ao modelo de linguagem. O assistente de compras da Wildberries faz, em média, cerca de 26 dessas chamadas: ele analisa o contexto, extrai preferências, gera consultas de busca, escolhe filtros e só então escreve a resposta. Parte das chamadas ocorre em paralelo, mas o usuário espera a cadeia toda.

Para reduzir essa espera, a equipe passou o assistente para a decodificação especulativa. A ideia é simples: um modelo-rascunho (drafter) pequeno adivinha antecipadamente alguns tokens seguintes, e o modelo grande verifica a previsão em uma única passagem. Em produção, depois da mudança para o método DFlash 2, a mediana do tempo de processamento de mensagem caiu de 10,9 para 3,6 segundos.

Mas, antes, a Wildberries comparou sete métodos em um mesmo banco de testes.

Por que verificar previsões compensa

A geração de texto por um modelo grande é limitada pela memória, e não pelo cálculo. Para produzir um token, a GPU lê todos os pesos envolvidos, mas calcula muito pouco. Se forem submetidos de uma vez oito tokens, a passagem custa quase o mesmo: os pesos são lidos uma única vez.

Por isso, o drafter propõe a continuação, e o modelo grande aceita o trecho correto mais longo. No primeiro erro, ele coloca o próprio token. Com uma verificação correta, a distribuição das respostas do modelo-alvo não muda. Um drafter ruim não estraga o texto; ele apenas acerta com menos frequência. A aceleração, porém, não é garantida. Ela depende do custo do rascunho e da verificação e da fração de tokens aceitos. Sob carga alta, o ganho diminui: o passo passa a ser limitado pelo cálculo, e não pela memória.

O perfil do assistente é incomum. Uma chamada típica tem um prompt de cerca de 5 mil tokens e uma resposta de cerca de 45 tokens, geralmente um JSON segundo um esquema. As respostas são curtas, mas muitas, e estão no caminho crítico. O modelo em produção é um MoE em FP8 com atenção híbrida: parte das camadas usa atenção linear, parte usa atenção completa tradicional.

O que o banco de testes mostrou

Não é possível medir em produção: o assistente acessa sistemas vizinhos com limites rígidos de RPS. Por isso, a equipe montou um banco isolado com o mesmo código, o mesmo modelo e as mesmas flags do vLLM. O teste rodou 449 turnos de 300 sessões que não estavam no treinamento. Mediu-se o tempo de um turno inteiro sob carga, e não os tokens por segundo, porque é isso que o usuário percebe. O mesmo método variou de uma execução para outra em até 9% com carga baixa e até 4,5% com 128 usuários. Os métodos com diferença menor são considerados empatados pelos autores.

Os resultados foram estes:

  • Os melhores são os drafters paralelos DFlash, DSpark e DFlash 2. Com carga baixa, o turno fica cerca de duas vezes mais rápido; com 128 usuários simultâneos, 1,4 vez mais rápido. Entre eles, a diferença está dentro da margem de erro.
  • A cabeça MTP do próprio modelo, ajustada ao domínio, entrega ×1,7–1,8 com carga baixa.
  • O EAGLE-3 aceita quase o mesmo número de tokens por passo que o DFlash, mas é 11–23% mais lento. Seu rascunho é construído de forma sequencial, enquanto o drafter paralelo gera o rascunho em uma única passagem.
  • Drafters prontos funcionam sem treinamento. Em um modelo aberto, a cabeça MTP dele e o DFlash público aceleram o turno em 1,6–2 vezes com carga baixa e em 1,2–1,3 vez com 128 usuários.

Os drafters foram treinados com respostas do mesmo modelo que roda em produção: eles preveem a continuação dele, e não um texto abstratamente correto. Em cada nó, 6 GPUs executavam os servidores vLLM com o modelo grande, e outras 2 GPUs treinavam o drafter. O orçamento do piloto foi de 847 mil linhas e 39 milhões de tokens de respostas.

Onde é fácil quebrar a produção

A descoberta mais prática diz respeito aos métodos sem treinamento. Em um modelo híbrido com atenção linear, o n-gram e o suffix decoding no vLLM 0.30 corrompem as respostas. Os autores identificaram o padrão e montaram um experimento de controle. A causa é que a atenção linear guarda um único estado de tamanho fixo, e a contribuição de tokens rejeitados não pode ser removida dele de forma exata e barata. Os trechos de código para essas camadas no vLLM são mais novos do que o caminho do KV-cache comum. Lá, a equipe encontrou duas limitações: uma corrompe as respostas, e a outra impede ativar a verificação adaptativa.

Há também uma ressalva honesta. A queda da mediana de 10,9 para 3,6 s é resultado da mudança em produção, e não de um experimento controlado: não foi alterada apenas a decodificação.

A conclusão prática para equipes com sistemas parecidos é esta. Se você usa um modelo híbrido com vLLM, compare a proporção de JSON quebrado na base e em cada método. A especulação correta não deve alterar essa proporção. Para respostas estruturadas curtas, vale analisar os drafters paralelos. Um drafter próprio ou uma cabeça MTP devem ser ajustados com as respostas do seu próprio modelo.

História

Perguntas frequentes sobre a notícia

Por que verificar previsões compensa?

A geração de texto por um modelo grande é limitada pela memória, e não pelo cálculo. Para produzir um token, a GPU lê todos os pesos envolvidos, mas calcula muito pouco. Se forem submetidos de uma vez oito tokens, a passagem custa quase o mesmo: os pesos são lidos uma única vez. Por isso, o drafter propõe a continuação, e o modelo grande aceita o trecho correto mais longo. No primeiro erro, ele coloca o próprio token. Com uma verificação correta, a distribuição das respostas do modelo-alvo não muda.

O que o banco de testes mostrou?

Não é possível medir em produção: o assistente acessa sistemas vizinhos com limites rígidos de RPS. Por isso, a equipe montou um banco isolado com o mesmo código, o mesmo modelo e as mesmas flags do vLLM. O teste rodou 449 turnos de 300 sessões que não estavam no treinamento. Mediu-se o tempo de um turno inteiro sob carga, e não os tokens por segundo, porque é isso que o usuário percebe. O mesmo método variou de uma execução para outra em até 9% com carga baixa e até 4,5% com 128 usuários.

Onde é fácil quebrar a produção?

A descoberta mais prática diz respeito aos métodos sem treinamento. Em um modelo híbrido com atenção linear, o n-gram e o suffix decoding no vLLM 0.30 corrompem as respostas. Os autores identificaram o padrão e montaram um experimento de controle. A causa é que a atenção linear guarda um único estado de tamanho fixo, e a contribuição de tokens rejeitados não pode ser removida dele de forma exata e barata. Os trechos de código para essas camadas no vLLM são mais novos do que o caminho do KV-cache comum.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…