Baidu publica o ERNIE 5.5 Flash Base: 280 bilhoes de parametros e pesos abertos

Os laboratorios chineses continuam publicando grandes modelos abertos, e a Baidu voltou a integrar esse grupo com uma iniciativa incomum. O ERNIE-5.5-Flash-Base foi lancado sem ajuste de instrucoes: e uma base bruta que os desenvolvedores precisam transformar por conta propria em um produto funcional. A empresa promete lancar mais tarde uma versao pos-treinada.

O que ha por dentro

O modelo usa uma arquitetura mixture-of-experts: sao 280 bilhoes de parametros no total, mas apenas 14 bilhoes sao ativados em cada solicitacao. Isso e importante na pratica: a qualidade e determinada pelo tamanho total, enquanto o custo computacional por token se aproxima do custo de um modelo de 14 bilhoes. Ainda assim, voce precisara de memoria suficiente para armazenar os pesos correspondentes aos 280 bilhoes de parametros.

O pre-treinamento usou 33,5 trilhoes de tokens, com contexto de ate 128K tokens. Ao mesmo tempo, a arquitetura foi projetada para contextos de ate 1 milhao de tokens durante o ajuste fino e a inferencia. Essa e uma capacidade declarada pela Baidu: os proprios usuarios terao de ampliar a janela, e a qualidade em contextos longos deve ser verificada com seus proprios dados.

Os pesos estao disponiveis no Hugging Face em dois formatos: FP8 e BF16. O FP8 exige significativamente menos memoria e serve para experimentos em um cluster menor, enquanto o BF16 e mais conveniente para ajuste fino.

O que e um modelo de "base" e como ele difere de um modelo de chat

Um modelo de base sabe continuar um texto, mas nao foi treinado para seguir instrucoes, recusar solicitacoes prejudiciais nem manter um formato de dialogo. Imagine um estagiario com enorme conhecimento, mas a quem ninguem explicou como responder aos clientes. Para obter um assistente, e necessario fazer supervised fine-tuning e, depois, normalmente uma etapa de treinamento de preferencias ou RL.

Em contrapartida, a base tem uma vantagem: ela nao carrega decisoes de terceiros sobre estilo, filtros ou comportamento. Uma equipe que queira seu proprio modelo especializado para documentos juridicos, codigo em uma linguagem rara ou suporte interno recebe um ponto de partida limpo.

A Baidu compara o modelo com DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base usando um unico pipeline de avaliacao. As categorias incluem provas, STEM, raciocinio, conhecimento, codigo, capacidade multilingue e contexto longo. Segundo a empresa, o ERNIE fica no mesmo nivel de modelos de base abertos comparaveis em raciocinio, codigo e contexto longo. Esses dados sao da propria Baidu; ainda nao ha medicoes independentes.

Limitacoes e o que fazer

Primeiro: sem pos-treinamento, o modelo nao pode simplesmente ser conectado a uma interface de chat ou a um agente. Sao necessarios dados, orcamento computacional e experiencia em ajuste fino de modelos MoE, algo mais complexo do que ajustar um modelo denso.

Segundo: a licenca. Antes do uso comercial, leia os termos na pagina do modelo; eles nao sao detalhados no anuncio.

Terceiro: a infraestrutura. Mesmo em FP8, 280 bilhoes de parametros exigem varias GPUs potentes, portanto este nao e um experimento local para uma equipe pequena.

A conclusao pratica: se voce tem os recursos e um caso de uso proprio, vale executar o ERNIE-5.5-Flash-Base em seu proprio benchmark, ao lado do DeepSeek V4 Flash Base e do MiMo V2.5 Base, e escolher a melhor fundacao para o ajuste fino. Se voce precisa de um modelo pronto para um produto, aguarde a versao pos-treinada da Baidu: ela ainda nao foi lancada, e nenhum prazo foi anunciado.

No geral, este e mais um sinal de que modelos de base abertos com centenas de bilhoes de parametros se tornaram comuns, enquanto a vantagem competitiva esta migrando dos proprios pesos para os dados e para a qualidade do pos-treinamento.