Xiaomi MiMo adota encoder-decoder: 5 vezes menos prefill com 1M de contexto

O contexto longo nos LLMs deixou de ser um recurso há muito tempo e virou uma conta de hardware. Você carrega um milhão de tokens no modelo e paga duas vezes: primeiro em tempo e computação no prefill, depois em memória para o cache KV, que incha junto com o contexto. Agora a Xiaomi, segundo a SemiAnalysis, tenta resolver isso no nível da arquitetura.

O que exatamente muda

Os analistas da SemiAnalysis escrevem que a próxima geração de modelos Xiaomi MiMo passa para um encoder-decoder causal. Isso acontece depois que o DeepSeek V4.1 Flash escolheu um caminho parecido. A arquitetura se chama HySparse2, e os detalhes principais do post são estes: o prompt passa por apenas 25 das 49 camadas, e o cache KV do decodificador não é calculado do zero, mas projetado a partir dos estados do codificador.

Em um modelo decodificador convencional, cada camada processa cada token do prompt e guarda suas próprias chaves e valores. Aqui o esquema é outro: o codificador assume o trabalho pesado de ler a entrada longa, enquanto o decodificador recebe dele estados prontos e constrói a partir deles o seu KV.

Imagine um advogado que recebe um contrato de 500 páginas. Dá para obrigá-lo a reler tudo a cada pergunta que responde. Ou ele pode fazer um resumo uma única vez e trabalhar com ele depois. A analogia é grosseira, mas transmite a essência: a leitura cara da entrada é levada para uma etapa separada, da qual se ocupa apenas parte das camadas.

Os números

Com contexto de 1M de tokens, em comparação com o MiMo-V2, a SemiAnalysis cita dois resultados:

• 5 vezes menos computação no prefill;
• um cache KV 4,5 vezes menor.

O primeiro número significa que o tempo até o primeiro token em prompts enormes pode cair de forma notável, e o custo de processar a entrada diminuirá. O segundo atinge a memória: cache menor significa mais requisições simultâneas na mesma GPU ou contexto longo em uma configuração mais modesta.

É importante entender de onde vem a comparação. Trata-se de um confronto com o modelo anterior da própria Xiaomi, e não de um benchmark independente contra concorrentes. E o post não traz dados de qualidade: como a nova arquitetura mantém a precisão em contexto longo ainda é desconhecido.

Por que isso importa

O principal sinal aqui é a tendência. Dois laboratórios chineses de destaque em sequência caminham para um esquema em que a entrada e a geração são processadas de formas diferentes. Para uma indústria que por anos viveu no paradigma «apenas decodificador», é uma mudança notável. A eficiência da inferência em contexto longo se torna uma vantagem competitiva no mesmo nível da qualidade.

Para quem constrói produtos sobre contexto longo — RAG sem chunking agressivo, análise de bases de código, agentes com memória longa —, isso é um potencial barateamento de cenários que hoje esbarram em memória e latência.

Limitações e o que fazer

Primeiro, o que não sabemos. O post não traz dados sobre qualidade, sobre como o modelo se comporta em tarefas de contexto longo, nem sobre quando exatamente os modelos serão lançados e se os pesos serão abertos. Os números são para 1M de tokens; em prompts curtos o ganho pode ser bem mais modesto. A fonte é um post de analistas, e não um relatório técnico da Xiaomi.

Conclusão prática para desenvolvedores e gerentes de produto:

• não reescreva seu stack para a nova arquitetura enquanto não houver pesos abertos e medições independentes;
• se você calcula a economia do contexto longo, inclua um cenário em que o custo de prefill e de memória cai várias vezes;
• acompanhe o suporte a encoder-decoder nos motores de inferência: dele depende a rapidez com que o ganho chegará a produtos reais.

Se os 5x e 4,5x anunciados se confirmarem na prática sem perda de qualidade, será um dos passos mais concretos rumo a um milhão de tokens barato.