Baidu publica ERNIE 5.5 Flash Base: 280.000 millones de parametros y pesos abiertos

Los laboratorios chinos siguen publicando grandes modelos abiertos, y Baidu ha vuelto a sumarse con una jugada poco habitual. ERNIE-5.5-Flash-Base se ha lanzado sin ajuste de instrucciones: es una base sin refinar que los desarrolladores deben convertir por su cuenta en un producto funcional. La empresa promete publicar mas adelante una version posentrenada.

Que hay dentro

El modelo utiliza una arquitectura mixture-of-experts: tiene 280.000 millones de parametros en total, pero solo activa 14.000 millones en cada solicitud. Esto es importante en la practica: la calidad viene determinada por el tamano total, mientras que el coste computacional por token se aproxima al de un modelo de 14.000 millones. Sin embargo, la memoria necesaria para almacenar los pesos sigue correspondiendo a los 280.000 millones de parametros.

El preentrenamiento se realizo con 33,5 billones de tokens y un contexto de hasta 128K tokens. Al mismo tiempo, la arquitectura esta disenada para admitir contextos de hasta 1 millon de tokens durante el ajuste fino y la inferencia. Esa es la capacidad declarada por Baidu: los usuarios tendran que ampliar la ventana por su cuenta y comprobar la calidad en contextos largos con sus propios datos.

Los pesos estan disponibles en Hugging Face en dos formatos: FP8 y BF16. FP8 requiere bastante menos memoria y resulta adecuado para experimentar en un cluster mas pequeno, mientras que BF16 es mas comodo para el ajuste fino.

Que es un modelo "base" y en que se diferencia de un modelo de chat

Un modelo base sabe continuar texto, pero no ha sido entrenado para seguir instrucciones, rechazar solicitudes perjudiciales ni mantener un formato conversacional. Es como un becario con enormes conocimientos al que nadie ha explicado como responder a los clientes. Para obtener un asistente se necesita supervised fine-tuning y, despues, normalmente una fase de entrenamiento de preferencias o RL.

A cambio, el modelo base tiene una ventaja: no incorpora decisiones ajenas sobre estilo, filtros o comportamiento. Un equipo que quiera crear su propio modelo especializado para documentos juridicos, codigo en un lenguaje poco comun o soporte interno obtiene un punto de partida limpio.

Baidu compara el modelo con DeepSeek-V4-Flash-Base, Hy3-preview-Base y MiMo-V2.5-Base mediante una unica cadena de evaluacion. Las categorias incluyen examenes, STEM, razonamiento, conocimientos, codigo, capacidad multilingue y contexto largo. Segun la empresa, ERNIE se situa al nivel de modelos base abiertos comparables en razonamiento, codigo y contexto largo. Son datos de la propia Baidu; todavia no hay mediciones independientes.

Limitaciones y siguientes pasos

Primero: sin posentrenamiento, el modelo no puede conectarse sin mas a una interfaz de chat o a un agente. Hacen falta datos, presupuesto computacional y experiencia en el ajuste fino de modelos MoE, una tarea mas compleja que ajustar un modelo denso.

Segundo: la licencia. Antes de utilizarlo con fines comerciales, lea las condiciones en la pagina del modelo; el anuncio no las detalla.

Tercero: la infraestructura. Incluso en FP8, 280.000 millones de parametros requieren varias GPU potentes, por lo que no es un experimento local para un equipo pequeno.

La conclusion practica: si dispone de recursos y de un caso de uso propio, conviene probar ERNIE-5.5-Flash-Base con un benchmark propio junto a DeepSeek V4 Flash Base y MiMo V2.5 Base, y elegir la mejor base para el ajuste fino. Si necesita un modelo listo para un producto, espere a la version posentrenada de Baidu: todavia no se ha publicado y no se han anunciado fechas.

En conjunto, es otra senal de que los modelos base abiertos con cientos de miles de millones de parametros se han vuelto habituales, mientras que la ventaja competitiva se desplaza de los propios pesos hacia los datos y la calidad del posentrenamiento.