Poolside y Laguna S: un MoE de 118B supera a Thinky, un modelo open-weights de un billón de parámetros

El laboratorio de IA Poolside ha entrenado Laguna S, un modelo MoE de 118.000 millones de parámetros que, según la compañía, supera al modelo abierto Thinky, de unos 1 billón de parámetros. Lo contó el cofundador y co-CEO de Poolside, Eiso Kant, en una entrevista con el pódcast Latent Space, en la que describió la infraestructura interna de la empresa como una «fábrica de modelos».

Qué es la «fábrica de modelos»

La «fábrica de modelos» de Poolside combina un equipo reducido de investigadores de primer nivel con una infraestructura de entrenamiento pensada para lanzar modelos con rapidez. Según Eiso Kant, ese flujo de trabajo permitió que un equipo compacto entrenara Laguna S, y no es un punto final, sino el primer resultado de un proceso ya afinado.

La idea central del enfoque es no perseguir el tamaño por el tamaño, sino construir un proceso de entrenamiento repetible en el que cada modelo nuevo cueste menos y salga antes que el anterior.

• Desarrollador: el laboratorio de IA Poolside
• Modelo: Laguna S, un MoE de 118.000 millones de parámetros
• Resultado declarado: supera al modelo abierto Thinky (~1 billón de parámetros)
• Portavoz: Eiso Kant, cofundador y co-CEO
• Fuente: entrevista en el pódcast Latent Space

Qué hace interesante a Laguna S

Lo llamativo de Laguna S es la diferencia de tamaño: 118.000 millones de parámetros frente a aproximadamente 1 billón del modelo open-weights Thinky, casi nueve veces menos y, según afirma Poolside, con mayor calidad. Lo consigue gracias a la arquitectura Mixture-of-Experts (MoE): con cada consulta solo se activa una parte de los «expertos» de la red, de modo que el modelo calcula más rápido y a menor coste que un modelo denso del mismo tamaño nominal.

Esa diferencia alimenta un debate de largo recorrido: qué determina la calidad de un modelo, el número bruto de parámetros o la ingeniería del entrenamiento. Poolside apuesta por lo segundo.

Por qué importa para el sector

La aparición de Laguna S muestra que un equipo pequeño puede competir con modelos un orden de magnitud mayores. Según Latent Space, toda la «fábrica» la ha levantado un grupo reducido de investigadores, sin las enormes plantillas con las que operan los líderes del mercado.

Para la industria, esto cuestiona la fórmula habitual de «más GPU y más personal, modelo más potente». Poolside sostiene que, con el proceso bien montado, un modelo de 118.000 millones de parámetros supera a uno de un billón, de modo que el cuello de botella pasa de la escala a la ingeniería del entrenamiento.

«Y esto es solo el principio»,

Eiso Kant, cofundador y co-CEO de Poolside, sobre el lanzamiento de Laguna S en la entrevista con Latent Space.

Qué significa

Poolside afirma que ha aprendido a lanzar modelos competitivos con pocos recursos y que Laguna S es solo el primero de una serie. Si pruebas independientes confirman los resultados, se reforzará una tendencia: la eficiencia del entrenamiento y la arquitectura MoE empiezan a pesar más que el tamaño absoluto del modelo.

Preguntas frecuentes

¿Qué es Laguna S?

Laguna S es un modelo de lenguaje de Poolside con arquitectura Mixture-of-Experts y 118.000 millones de parámetros. Según la compañía, supera al modelo abierto Thinky, de unos 1 billón de parámetros.

¿Quién es Eiso Kant?

Eiso Kant es cofundador y co-CEO de Poolside. Fue él quien, en la entrevista con el pódcast Latent Space, habló de la «fábrica de modelos» y del entrenamiento de Laguna S.