Baidu abre ERNIE 5.5 Flash Base: un MoE de 280.000 millones de parámetros con 14.000 millones activos

Los laboratorios chinos siguen publicando grandes modelos abiertos, y este es un nuevo lanzamiento destacado. El 5 de noviembre, Baidu abrió ERNIE 5.5 Flash Base, un modelo base con arquitectura Mixture-of-Experts. Para quienes eligen sobre qué construir su propio stack, es una razón para mirar las cifras con más atención.

Qué hay dentro y qué pinta aquí el MoE

Los parámetros principales son: 280.000 millones de parámetros en total, 14.000 millones activos por cada token, 33,5 billones de tokens de preentrenamiento y un contexto de hasta 128K en la fase de preentrenamiento. Según Baidu, durante el ajuste fino y la inferencia se admite un contexto aún más largo, pero en el texto del que disponemos la cifra aparece cortada, así que conviene consultar el valor exacto en la ficha del modelo.

La forma más sencilla de explicar el MoE es con una analogía. Imagine una gran consultora con cientos de especialistas. Para cada pregunta no se convoca a todos: un coordinador, el router, elige a unos pocos expertos adecuados. El conocimiento lo tiene toda la firma, pero en un token concreto trabajan solo los elegidos. Aquí, 14.000 millones de 280.000 millones.

La consecuencia práctica es doble. La velocidad y el coste de generación se acercan a los de un modelo denso de clase 14B, mientras que la capacidad de conocimiento es potencialmente mayor. Pero hay una salvedad que a menudo se olvida: todos los pesos deben cargarse igualmente en memoria. Según mi cálculo aproximado, son unos 560 GB en precisión de 16 bits y unos 280 GB en 8 bits. No son datos de Baidu, sino una estimación a partir del número de parámetros, sin contar la caché ni la sobrecarga.

Por qué importa la palabra Base

Un modelo Base no es un asistente de chat. Está entrenado para continuar texto, no para seguir instrucciones. Si le escribe «Redacta una consulta SQL para obtener los pedidos de la semana», puede continuar la frase como si fuera el comienzo de un documento en lugar de generar la consulta. Para obtener un comportamiento de producto hacen falta SFT, entrenamiento con preferencias y, posiblemente, RL.

Por otro lado, para los equipos con su propio postentrenamiento es una buena noticia. Un modelo base no arrastra el alineamiento ni el estilo de respuesta de otros, y se puede adaptar a su dominio: textos jurídicos, documentación interna, código en un lenguaje de nicho.

Sobre los benchmarks: Baidu afirma que el modelo ha establecido un nuevo SOTA entre modelos de tamaño similar en varias pruebas. Es una afirmación del fabricante y aún no hemos visto mediciones independientes. Además, los modelos base suelen compararse en pruebas de conocimiento, matemáticas y código en modo few-shot. Estas pruebas dicen casi nada sobre cómo se comportará el modelo en escenarios agénticos con llamadas a herramientas.

Qué hacer con esto

• Si dispone de un clúster de GPU y de un conjunto de datos propio, sobre todo en chino o de un ámbito temático específico, el modelo merece un piloto.

• Si necesita un chat o una API listos para un producto, Base no sirve. Busque una versión instruct o prepare su propio postentrenamiento.

• Antes de empezar, compruebe la licencia y el soporte del modelo en su stack de inferencia. Para MoE esto es crítico: el enrutamiento de expertos no está implementado igual de bien en todas partes.

• Reúna entre 30 y 50 ejemplos de sus tareas reales y ejecútelos antes de invertir nada en ajuste fino. Los benchmarks públicos no lo sustituyen.

Las limitaciones son evidentes. Los requisitos de memoria son altos, hay pocas comparaciones independientes y la calidad en ruso habrá que comprobarla por cuenta propia: con los datos disponibles no se sabe nada al respecto.

En resumen: ERNIE 5.5 Flash Base resulta interesante como una base MoE abierta más, con un gran volumen de preentrenamiento y un coste de cómputo por token razonable. Pero es materia prima para ingenieros, no un producto terminado. La decisión de adoptarlo debe tomarse tras sus propias mediciones, no por un titular sobre SOTA.