DeepSeek reduz o cache de memória do modelo para 890 bytes por token, contra 3514

A DeepSeek publicou no Hugging Face o modelo DeepSeek-V4.1-Flash, junto com um artigo em que o maior destaque não é a qualidade das respostas, mas o custo de armazenar memória. Quando um modelo de linguagem lê um texto longo, ele guarda, para cada token, dados intermediários do mecanismo de atenção.

Isso é o KV-cache. Ele existe para evitar que tudo seja recalculado a cada nova palavra gerada. Quanto maior o contexto, mais pesado o cache.

No V4.1-Flash, o cache global na HBM (a memória mais rápida da placa de vídeo) ocupa 890 bytes por token. No V4-Flash anterior, eram 3514.

Para uma sessão de 1 milhão de tokens, isso equivale a cerca de 0,9 GB em vez de 3,5 GB.

O modelo é multimodal e usa a arquitetura MoE (mixture of experts), em que apenas parte dos especialistas trabalha a cada token. O núcleo principal tem 552 bilhões de parâmetros. Outros 196 bilhões ficam nas tabelas de memória Engram. O contexto é de 1M de tokens. O artigo tem cerca de 500 autores. O código de treinamento não foi divulgado, mas os pesos foram publicados.

Três técnicas que baratearam a operação

A principal novidade de arquitetura é o esquema encoder-decoder causal, abreviado como CED. Quase todos os principais modelos abertos usam a arquitetura decoder-only, em que a mesma pilha de camadas lê o prompt e escreve a resposta. Aqui, a pilha é dividida. No prefill, quando o modelo lê o prompt, 8 bilhões de parâmetros ficam ativos. Na decodificação, isto é, na geração da resposta, são 16 bilhões. A abordagem é parente da ideia do YOCO, em que o cache é calculado uma única vez e depois reaproveitado.

A segunda técnica é o mecanismo de atenção CSA2. Ele usa o cache em formato FP4, ou seja, armazena os números em apenas quatro bits, e o reaproveita entre as camadas. Antes, cada camada mantinha a própria cópia.

A terceira técnica é o SWA Bounded Replay. A atenção por janela deslizante olha apenas para os tokens mais recentes, e seu cache local precisava ser gravado em disco para que a sessão pudesse continuar mais tarde. Agora ele não é gravado: ao retomar a sessão, um trecho limitado é recalculado. Isso consome processamento, mas alivia o disco.

Resumo do ganho em memória:

• cache na HBM: 890 bytes por token em vez de 3514, ou seja, quase 4 vezes menos;
• cache de longa duração em SSD: cerca de 1/8 do volume do V4-Flash;
• parâmetros ativos: 8 bilhões no prefill e 16 bilhões na decodificação.

O que os benchmarks mostraram

Economizar não adianta se o modelo ficar pior. Por isso, os autores compararam o modelo com o antecessor e com o Opus-5, fechado, em tarefas de agentes, nas quais o modelo trabalha sozinho com código e terminal.

• DeepSWE v1.1 é um conjunto de tarefas de engenharia de software: o agente altera o código para resolver um problema específico. O V4.1-Flash resolve 74,2%. O V4-Flash tinha 54,4%, e o Opus-5, 74,0%.
• Terminal-Bench 2.1 reúne tarefas na linha de comando. No Pass@1, a proporção de tarefas resolvidas na primeira tentativa, o V4.1-Flash chega a 90,6%. O V4-Flash fica com 82,7%, e o Opus-5, com 89,1%.

O ganho de quase 20 pontos percentuais no DeepSWE é expressivo. Nos dois testes, o modelo aberto superou o fechado, embora no DeepSWE a diferença de 0,2 ponto esteja dentro da margem normal de ruído.

Onde ainda há dúvidas

Na prática, o trabalho significa que sessões de agentes com 1 milhão de tokens passam a esbarrar no processamento, e não no volume de HBM ou SSD reservado ao cache. Uma sessão longa, de um agente que acumula por semanas o histórico de edições e logs de terminal, sai mais barata. Em uma única placa, é possível manter mais sessões desse tipo ao mesmo tempo. Para empresas que hospedam os próprios modelos, isso representa economia direta em hardware.

Há, porém, ressalvas. Os autores não mostraram ablações por componente, isto é, não desligaram as técnicas uma a uma, e não está claro qual das três responde pela maior parte da economia. Também faltam curvas de qualidade de recuperação de informação no contexto com o 1 milhão de tokens completo. A janela de 1M anunciada está menos comprovada do que seria desejável. Nas tarefas científicas complexas do Terminal-Bench 4.0, o modelo fica claramente atrás: 31,2% contra 51,8% do Opus-5.

Outro ponto interessante é que, entre os grandes modelos abertos, o V4.1-Flash é, ao que parece, o único a abandonar o decoder-only puro. Antes, algo parecido só havia aparecido no T5Gemma, com sua arquitetura encoder-decoder. Se medições independentes confirmarem o ganho, outros laboratórios podem adotar a divisão da pilha entre leitura e geração.