Poolside и Laguna S: 118B MoE обходит триллионную open-weights модель Thinky

El laboratorio de IA Poolside ha entrenado Laguna S, un modelo MoE con 118 000 millones de parámetros que, según la compañía, supera al modelo de pesos abiertos Thinky, de alrededor de 1 billón de parámetros. Así lo reveló el cofundador y co-CEO de Poolside, Eiso Kant, en una entrevista con el podcast Latent Space, donde llamó a la infraestructura interna de la empresa una "fábrica de modelos".

Qué es una "fábrica de modelos"

La "fábrica de modelos" de Poolside es la combinación de un pequeño equipo de investigadores de primer nivel con una infraestructura de entrenamiento diseñada para lanzar modelos rápidamente. Según Eiso Kant, fue precisamente este proceso el que permitió a un equipo compacto entrenar Laguna S, y esto no es el punto final, sino el primer resultado de un proceso ya afinado.

La idea clave del enfoque no es perseguir el tamaño por el tamaño, sino construir un proceso de entrenamiento repetible en el que cada modelo siguiente cueste menos y salga más rápido que el anterior.

• Desarrollador — Poolside AI Lab
• Modelo — Laguna S, MoE con 118 000 millones de parámetros
• Resultado declarado — supera al modelo de pesos abiertos Thinky (~1 billón de parámetros)
• Portavoz — Eiso Kant, cofundador y co-CEO
• Fuente — entrevista con el podcast Latent Space

Qué hace interesante a Laguna S

Laguna S destaca por la brecha de tamaño: 118 000 millones de parámetros frente a aproximadamente 1 billón del modelo de pesos abiertos Thinky, casi nueve veces menos, con, según afirma Poolside, una calidad superior. Esto se logra gracias a la arquitectura Mixture-of-Experts (MoE): en cada solicitud solo se activa una parte de los "expertos" de la red, por lo que el modelo calcula más rápido y de forma más barata que un modelo denso del mismo tamaño nominal.

Esta brecha es un argumento en el viejo debate sobre qué determina la calidad de un modelo: el número bruto de parámetros o la ingeniería de entrenamiento. Poolside apuesta por lo segundo.

Por qué esto importa para la industria

La aparición de Laguna S demuestra que un equipo pequeño puede competir con modelos un orden de magnitud más grandes. Según Latent Space, toda la "fábrica" fue construida por un grupo compacto de investigadores, sin las plantillas gigantescas que manejan los líderes del mercado.

Para la industria, esto pone en duda la fórmula habitual de "más GPU y más gente es igual a un modelo más fuerte". Poolside afirma que, con un proceso bien construido, un modelo de 118 000 millones de parámetros supera a uno de un billón, lo que significa que el cuello de botella se está desplazando de la escala a la ingeniería de entrenamiento.

"Y esto es solo el comienzo", —

Eiso Kant, cofundador y co-CEO de Poolside, sobre el lanzamiento de Laguna S en una entrevista con Latent Space.

Qué significa esto

Poolside afirma que ha aprendido a lanzar modelos competitivos con pocos recursos y que Laguna S es solo el primero de una serie. Si los resultados se confirman con pruebas independientes, esto reforzará una tendencia: la eficiencia del entrenamiento y la arquitectura MoE empiezan a pesar más que el tamaño absoluto del modelo.

Preguntas frecuentes

¿Qué es Laguna S?

Laguna S es un modelo de lenguaje de Poolside con arquitectura Mixture-of-Experts y 118 000 millones de parámetros. Según la compañía, supera al modelo de pesos abiertos Thinky, de alrededor de 1 billón de parámetros.

¿Quién es Eiso Kant?

Eiso Kant es el cofundador y co-CEO de la empresa Poolside. Fue él quien, en una entrevista con el podcast Latent Space, habló sobre la "fábrica de modelos" y el entrenamiento de Laguna S.