Xiaohongshu acelera o indexador de atenção esparsa: DoSA reduz o TTFT pela metade

A rede social chinesa Xiaohongshu (RedNote) foi atrás de um gargalo que surge depois da adoção da atenção esparsa. A equipe Dots desenvolveu o DoSA: nos testes, o método filtrou antecipadamente cerca de 97% dos candidatos no indexador, não alterou o Top-K final e, de acordo com o título da publicação do Jiqizhixin, reduziu pela metade a latência do primeiro token (TTFT) em um contexto da ordem de 1M de tokens.

Onde está o gargalo

A atenção esparsa reduz o custo computacional da seguinte forma: cada consulta olha não para todos os tokens anteriores, mas apenas para os K mais relevantes. Quem faz essa seleção é um módulo leve e separado, o indexador. Ele avalia cada par "consulta — token" e escolhe os melhores. Com isso, a atenção principal fica barata, mas o indexador continua percorrendo todo o contexto. O custo dele cresce de forma quadrática com o comprimento da sequência e, na casa de 1 milhão de tokens, é ele que passa a definir o tempo de processamento do prompt. Esse esquema é usado, por exemplo, pelos modelos da família DeepSeek V3.2, com seu indexador "relâmpago" (lightning indexer).

É no primeiro token que o problema fica mais evidente. Na etapa de prefill, o indexador precisa percorrer todo o prompt longo, e o usuário espera pela resposta mais do que gostaria.

Como funciona o DoSA

O texto completo da matéria está cortado no material a que tivemos acesso, por isso os detalhes de implementação seguem a descrição dos autores. O DoSA calcula, para os candidatos, um limite superior e um limite inferior da pontuação. É uma operação barata em comparação com o cálculo exato. A lógica do descarte é simples: se o limite superior de um candidato está abaixo do limite inferior que já garante vaga entre os K primeiros, esse candidato não entrará no Top-K. Não há motivo para calcular a pontuação exata dele.

A propriedade central é que o método não aproxima o resultado: ele entrega o mesmo conjunto de tokens que a busca exaustiva. Por isso, a fórmula "提速不降智" ("mais rápido sem perder inteligência") cabe aqui: a qualidade do modelo não deve depender da aceleração, já que a seleção de tokens não muda.

O que se sabe a partir dos testes

• Cerca de 97% dos candidatos foram descartados antes do cálculo exato das pontuações.
• O resultado do Top-K coincide com o do algoritmo original.
• O contexto nos testes foi de cerca de 1M de tokens.
• A latência do primeiro token caiu aproximadamente pela metade (segundo o título da publicação).

Parte dos dados está ausente no trecho disponível: o nome do modelo (o texto é interrompido em "Dots3…"), o hardware, o tamanho do batch, os valores absolutos de latência e a distribuição do ganho por etapa. O número "metade" se refere a uma configuração específica, e não é possível transferi-lo para outras stacks sem verificação. A fração de candidatos filtrados provavelmente depende dos dados: quanto mais acentuada a distribuição das pontuações, mais eficientes são os limites.

Lado prático

Para equipes que operam modelos de contexto longo com atenção esparsa, o DoSA é interessante porque acelera a inferência sem retreinamento e sem o risco de alterar o comportamento do modelo. Como a seleção de tokens continua a mesma, os testes de regressão de qualidade devem passar sem mudanças. É um argumento forte para produção, onde qualquer desvio na saída exige uma verificação à parte.

O primeiro passo é medir que fatia do tempo de prefill o indexador ocupa na sua stack. Se ela for expressiva em contextos de 128K a 1M de tokens, o método trará ganho. Se o grosso do tempo for consumido pela parte MoE ou pela transferência de dados entre GPUs, o efeito será mais modesto. Também vale esperar pelo código aberto ou por um relatório técnico: no nível dos kernels CUDA, o custo extra de calcular os limites pode alterar bastante o resultado final.

Para a própria Xiaohongshu, trata-se ainda de uma questão econômica. Quanto mais barato o processamento de prompts longos, mais fácil manter no produto cenários com contextos grandes: busca em feeds, análise de documentos, cadeias de agentes.