Baidu abre los pesos de ERNIE 5.5 Flash: de 280 mil millones de parámetros, solo 14 mil millones (5%) trabajan por token

Baidu ha publicado los pesos de ERNIE 5.5 Flash Base, un modelo de lenguaje abierto con arquitectura MoE (mixture of experts, «mezcla de expertos»). El titular contiene dos cifras y conviene entender qué significan.

280 mil millones es el número total de parámetros, es decir, el «conocimiento» que almacena el modelo. 14 mil millones es cuántos de ellos participan realmente en el procesamiento de cada token (un token es un fragmento de palabra con el que el modelo construye el texto). 14 de 280 es exactamente el 5%.

Imagine una oficina de 20 especialistas en la que, para cada tarea, se llama solo al adecuado y no a todos a la vez: la plantilla es grande, pero el trabajo se paga como el de un equipo pequeño. Para un desarrollador la conclusión es sencilla: si cuenta el dinero que gasta en inferencia, un modelo así puede salir más barato que uno denso del mismo tamaño, pero primero hay que probarlo con sus propios datos.

Qué se ha publicado exactamente

Baidu Research ha abierto la versión base, ERNIE 5.5 Flash Base. «Base» significa un modelo en bruto, sin el ajuste final para el diálogo: no es un asistente de chat listo para usar, sino un punto de partida, por ejemplo, para un reentrenamiento propio con datos sectoriales. La compañía promete lanzar más adelante la ERNIE 5.5 Flash completa.

Dentro del modelo hay bloques especializados, los «expertos». Para cada token, un enrutador especial elige cuáles activar. El resultado es que el cómputo necesario es aproximadamente el de un modelo de 14 mil millones de parámetros, mientras que el conocimiento almacenado es el de uno de 280 mil millones. Los desarrolladores afirman que el modelo alcanza los resultados de los modelos líderes de tamaño comparable. El anuncio no incluye cifras concretas y, en el momento de la publicación, tampoco hay mediciones independientes, así que por ahora es una hipótesis.

Tres soluciones de ingeniería

Baidu destaca varias novedades técnicas.

Latent-Gated Sparse Attention se encarga de la memoria al trabajar con textos largos. Mientras genera una respuesta, el modelo guarda la KV-cache, la caché de los tokens ya procesados, que crece mucho en documentos extensos. El nuevo mecanismo reparte esa memoria de modo que el modelo siga encontrando la información necesaria en un contexto largo, pero sin gastar de más. En la práctica, esto afecta a contratos extensos, logs o una base de código grande en una sola consulta.

Multi-Router Latent MoE usa varios enrutadores, y no solo uno, para elegir a los expertos. Según Baidu, así se determina con más precisión qué partes del modelo necesita cada token, sin que aumenten los costes de cómputo.

ECHO combina la predicción de varios tokens a la vez con la capa principal del modelo. El mismo mecanismo puede usarse para speculative decoding. La idea es la siguiente: el modelo propone de antemano un borrador de varios tokens siguientes y luego lo verifica. Si las conjeturas son correctas, la respuesta se genera más rápido. Para los servicios en los que importa la velocidad de respuesta, esto puede ser más útil que otra mejora en los benchmarks.

Para el entrenamiento, el equipo desarrolló un optimizador distribuido Muon y un kernel de atención optimizado, FlashMask-4.

Qué significa en la práctica

En primer lugar, el ahorro de un MoE afecta al cómputo, pero no a la memoria. Los 280 mil millones de parámetros hay que almacenarlos igualmente en algún sitio: en precisión de 16 bits, son unos 560 GB solo para los pesos. No será posible ejecutar un modelo así en una sola tarjeta gráfica; hará falta un servidor con varios aceleradores o cuantización (compresión de los pesos). La ventaja se nota más cuando hay muchas consultas: por cada token se gasta menos cómputo que con un modelo denso del mismo tamaño.

En segundo lugar, como se trata de un modelo base, no conviene esperar un agente o un asistente listo para usar. Si lo que necesita es diálogo o escenarios con agentes, lo más sensato es esperar a la ERNIE 5.5 Flash completa.

En tercer lugar, para el mercado de modelos abiertos es otro candidato de gran tamaño para servir de base de stacks propios. Los pesos están en Hugging Face y el análisis técnico se ha publicado en el sitio de ERNIE.

Lo mejor es empezar por algo pequeño. Tome su conjunto de tareas de prueba, ejecute ERNIE 5.5 Flash Base y compare el resultado con lo que usa ahora. Fíjese tanto en la calidad como en el coste de ejecución, porque estos modelos se diseñan precisamente por lo segundo.