Baidu abre os pesos do ERNIE 5.5 Flash: de 280 bilhões de parâmetros, 14 bilhões (5%) atuam por token

A Baidu publicou os pesos do ERNIE 5.5 Flash Base, um modelo de linguagem aberto com arquitetura MoE (mixture of experts, ou "mistura de especialistas"). O título traz dois números, e é importante entender o que cada um significa.

Os 280 bilhões são o total de parâmetros, ou seja, o "conhecimento" que o modelo armazena. Os 14 bilhões são a parcela que de fato participa do processamento de cada token (o token é um fragmento de palavra, a unidade com que o modelo monta o texto). 14 de 280 dá exatamente 5%.

Imagine um escritório com 20 especialistas em que cada tarefa chama só o mais adequado, e não todos de uma vez: o quadro é grande, mas o custo do trabalho é o de uma equipe pequena. Para o desenvolvedor, a conclusão é simples: se você conta cada centavo gasto com inferência, um modelo assim pode sair mais barato do que um modelo denso do mesmo tamanho, mas primeiro é preciso testá-lo com os seus próprios dados.

O que exatamente foi publicado

A Baidu Research abriu a versão base, o ERNIE 5.5 Flash Base. "Base" significa um modelo bruto, sem o ajuste final para diálogo: não é um assistente de chat pronto, mas um ponto de partida, por exemplo, para um fine-tuning próprio com dados de um setor específico. A empresa promete lançar o ERNIE 5.5 Flash completo mais tarde.

Por dentro, o modelo tem blocos especializados, os "especialistas". Para cada token, um roteador seleciona quais deles serão ativados. O resultado é que a computação necessária equivale à de um modelo de 14 bilhões de parâmetros, enquanto o conhecimento armazenado é o de um modelo de 280 bilhões. Os desenvolvedores afirmam que o modelo alcança resultados de modelos líderes de porte comparável. O anúncio não traz números concretos, e até a data da publicação também não havia medições independentes, então por ora isso é só uma hipótese.

Três soluções de engenharia

A Baidu destaca algumas novidades técnicas.

Latent-Gated Sparse Attention cuida da memória no trabalho com textos longos. Enquanto gera a resposta, o modelo mantém o KV-cache, o cache dos tokens já processados, que cresce bastante em documentos longos. O novo mecanismo distribui essa memória de modo que o modelo continue encontrando a informação necessária no contexto longo, sem gastar mais do que precisa. Na prática, isso vale para contratos extensos, logs ou uma base de código grande dentro de uma única requisição.

Multi-Router Latent MoE usa não um, mas vários roteadores para escolher os especialistas. Segundo a Baidu, isso permite identificar com mais precisão quais partes do modelo cada token exige, sem aumentar o custo computacional.

ECHO integra a previsão de vários tokens de uma vez à camada principal do modelo. O mesmo mecanismo pode ser usado para speculative decoding. A ideia é que o modelo proponha antecipadamente um rascunho com vários dos próximos tokens e depois o verifique. Se os palpites estiverem certos, a resposta é gerada mais rápido. Para serviços em que o tempo de resposta importa, isso pode ser mais útil do que mais um ganho em benchmarks.

Para o treinamento, a equipe desenvolveu um otimizador Muon distribuído e um kernel de atenção otimizado, o FlashMask-4.

O que isso significa na prática

Primeiro, a economia do MoE está na computação, não na memória. Os 280 bilhões de parâmetros ainda precisam ser armazenados em algum lugar: em precisão de 16 bits, isso dá cerca de 560 GB só para os pesos. Não será possível rodar esse modelo em uma única placa de vídeo; será preciso um servidor com vários aceleradores ou quantização (compressão dos pesos). O ganho é mais perceptível onde há muitas requisições: cada token consome menos computação do que em um modelo denso do mesmo tamanho.

Segundo, como se trata de uma versão base, não convém esperar um agente ou assistente pronto para uso. Se o que você precisa é de diálogo ou de cenários com agentes, o mais sensato é aguardar o ERNIE 5.5 Flash completo.

Terceiro, para o mercado de modelos abertos, este é mais um grande candidato a base para stacks próprios. Os pesos estão no Hugging Face, e a análise técnica foi publicada no site do ERNIE.

O melhor é começar pequeno. Pegue o seu conjunto de tarefas de teste, rode o ERNIE 5.5 Flash Base nele e compare com o que você usa hoje. Observe tanto a qualidade quanto o custo de execução, porque é justamente pelo segundo que esses modelos são criados.