Mistral publica los pesos abiertos de Large 4: 1 billón de parámetros, 52 mil millones activos

La francesa Mistral ha publicado en Hugging Face los pesos abiertos de Large 4, a juzgar por un mensaje en X. Se trata de un modelo de 1 billón de parámetros con una arquitectura en la que se utilizan 52 mil millones por cada token. La ventana de contexto es de 1 millón de tokens.

La licencia es una MIT modificada, con una excepción específica para model-as-a-service. El autor del mensaje también da el precio de la API y una reducción del 63% en el coste de resolver tareas del índice de inteligencia. Una salvedad importante: la fuente es una única publicación con un alcance minúsculo, y el texto no enlaza ningún anuncio oficial ni la ficha del modelo.

Por eso, todas las cifras que siguen son afirmaciones del autor, no datos verificados.

Qué se afirma sobre la arquitectura y el contexto

La relación entre 52 mil millones de parámetros activos y 1 billón de parámetros totales equivale a aproximadamente un 5% de los pesos por token. Este enfoque disperso (mixture-of-experts) permite mantener una enorme capacidad en el modelo y pagar la inferencia como si fuera una red densa bastante más pequeña. Para quien aloje el modelo por su cuenta, eso no elimina la principal limitación: hay que mantener en memoria todos los pesos, es decir, un billón de parámetros. Incluso con baja precisión, se trata de un clúster de tamaño considerable, no de una sola estación de trabajo.

El contexto de 1 millón de tokens apunta a trabajar con grandes bases de código, documentos largos y escenarios agénticos de varios pasos. La publicación no dice nada sobre cómo se mantiene la calidad a larga distancia. El tamaño declarado de la ventana y la capacidad real de encontrar y usar información en sus extremos son cosas distintas, y conviene comprobarlo con pruebas independientes.

Licencia: MIT con una salvedad

El autor describe la licencia como una MIT modificada con una excepción para model-as-a-service. La publicación no revela la redacción completa. Por el nombre cabe suponer que la excepción limita el alojamiento comercial del propio modelo como servicio por parte de terceros, pero eso es una conjetura, no un hecho. Para las empresas que planeen usar Large 4 dentro de sus productos, probablemente habrá pocas restricciones. Los proveedores de inferencia y los revendedores de acceso a la API deberían leer primero el texto original de la licencia. Mientras no se haya estudiado, es prematuro presentar Large 4 como un modelo totalmente libre, en la línea de una MIT pura.

Precios y economía de las tareas

El autor indica que el coste de resolver una tarea del índice de inteligencia bajó un 63% y ahora es de $2,06. La publicación no menciona el nombre del índice ni el modelo con el que se hace la comparación. Si se toman las cifras al pie de la letra, el coste anterior era de unos $5,57 por tarea; es un cálculo nuestro a partir del porcentaje declarado, no un dato del autor. La caída del coste por tarea depende del precio de los tokens y de cuántos tokens gasta el modelo en razonar: una tarifa barata no sirve de mucho si las respuestas salen demasiado largas.

Las tarifas de la API son de $0,70 por millón de tokens de entrada y $2,10 por millón de tokens de salida. Los de salida cuestan exactamente el triple que los de entrada. Para escenarios con contexto largo y respuestas cortas, como la búsqueda en documentos o la revisión de código, esta estructura resulta ventajosa. Para generar grandes volúmenes de texto o largas cadenas de razonamiento, la mayor parte de la factura la generarán los tokens de salida.

Qué comprobar antes de adoptarlo

Estos son los pasos mínimos para un equipo que se plantee Large 4:

• contrastar la publicación con el anuncio oficial de Mistral y la ficha del modelo en Hugging Face;
• leer el texto completo de la licencia y las condiciones de la excepción para model-as-a-service;
• averiguar qué índice y qué modelo base están detrás de la reducción del 63% en el coste;
• ejecutar tareas propias con contexto largo, sin fiarse del 1 millón declarado;
• evaluar los requisitos de memoria para alojar por cuenta propia un modelo de un billón de parámetros.

Si las afirmaciones se confirman, Large 4 será uno de los modelos más grandes con pesos abiertos que además cuenta con pesos públicos y una API económica. Por ahora, lo que tenemos es un mensaje sin una fuente en forma de documentación. Lo razonable es tomarlo como motivo para verificar la información, no como base para cambiar la arquitectura de un producto.