Baidu abre o ERNIE 5.5 Flash Base: MoE de 280 bilhões de parâmetros com 14 bilhões ativos

Os laboratórios chineses continuam lançando grandes modelos abertos, e aqui está mais um lançamento de destaque. Em 5 de novembro, a Baidu abriu o ERNIE 5.5 Flash Base, um modelo base com arquitetura Mixture-of-Experts. Para quem está escolhendo sobre o que construir a própria stack, é um motivo para olhar os números com mais atenção.

O que há por dentro e o que o MoE tem a ver com isso

Os principais parâmetros são: 280 bilhões de parâmetros no total, 14 bilhões ativos por token, 33,5 trilhões de tokens de pré-treinamento e contexto de até 128K na etapa de pré-treinamento. Segundo a Baidu, um contexto ainda maior é suportado no ajuste fino e na inferência, mas no texto de que dispomos o número está cortado, então vale conferir o valor exato no cartão do modelo.

A maneira mais simples de explicar o MoE é por analogia. Imagine uma grande consultoria com centenas de especialistas. Para cada pergunta, não se reúne todo mundo: um despachante, o roteador, escolhe alguns especialistas adequados. O conhecimento fica com a empresa inteira, mas, em cada token, só trabalham os escolhidos. Aqui, são 14 bilhões dos 280 bilhões.

A consequência prática é dupla. A velocidade e o custo de geração ficam mais próximos de um modelo denso da classe 14B, enquanto a capacidade de conhecimento é potencialmente maior. Mas há uma ressalva que muitas vezes se esquece: todos os pesos ainda precisam ser carregados na memória. Pela minha conta aproximada, isso dá cerca de 560 GB em precisão de 16 bits e cerca de 280 GB em 8 bits. Esses não são dados da Baidu, e sim uma estimativa baseada no número de parâmetros, sem considerar cache e overhead.

Por que a palavra Base importa

Um modelo Base não é um assistente de chat. Ele é treinado para continuar texto, não para seguir instruções. Se você escrever «Monte uma consulta SQL para selecionar os pedidos da semana», ele pode continuar a frase como se fosse o início de um documento, em vez de gerar a consulta. Para obter comportamento de produto, são necessários SFT, treinamento por preferências e, possivelmente, RL.

Por outro lado, para equipes com pós-treinamento próprio, é uma boa notícia. Um modelo base não carrega o alinhamento nem o estilo de resposta de terceiros e pode ser ajustado ao seu domínio: textos jurídicos, documentação interna, código em uma linguagem de nicho.

Sobre os benchmarks: a Baidu afirma que o modelo estabeleceu um novo SOTA entre modelos de tamanho semelhante em vários testes. Trata-se de uma declaração do fornecedor, e ainda não vimos medições independentes. Além disso, modelos base costumam ser comparados em testes de conhecimento, matemática e código em modo few-shot. Esses testes dizem quase nada sobre como o modelo se comportará em cenários agênticos com chamada de ferramentas.

O que fazer com isso

• Se você tem um cluster de GPUs e um conjunto de dados próprio, especialmente com chinês ou uma área temática restrita, o modelo merece um piloto.

• Se precisa de um chat ou API pronto para um produto, o Base não serve. Procure uma versão instruct ou prepare seu próprio pós-treinamento.

• Antes de começar, verifique a licença e o suporte ao modelo na sua stack de inferência. Para MoE isso é crítico: o roteamento de especialistas não é implementado igualmente bem em todo lugar.

• Reúna de 30 a 50 exemplos das suas tarefas reais e execute-os antes de qualquer investimento em ajuste fino. Benchmarks públicos não substituem isso.

As limitações são óbvias. Os requisitos de memória são altos, há poucas comparações independentes e a qualidade em russo terá de ser verificada por conta própria: nos dados disponíveis nada se sabe sobre ela.

Em resumo: o ERNIE 5.5 Flash Base é interessante como mais uma base MoE aberta, com grande volume de pré-treinamento e custo de computação por token razoável. Mas é matéria-prima para engenheiros, não um produto pronto. A decisão de adotá-lo deve ser tomada após medições próprias, e não com base em uma manchete sobre SOTA.