Poolside et Laguna S : un MoE de 118B dépasse Thinky, un modèle open-weights d'un billion de paramètres

Le laboratoire d'IA Poolside a entraîné Laguna S, un modèle MoE de 118 milliards de paramètres qui, selon l'entreprise, surpasse le modèle ouvert Thinky, d'environ 1 billion de paramètres. Eiso Kant, cofondateur et co-CEO de Poolside, l'a expliqué dans un entretien au podcast Latent Space, en qualifiant l'infrastructure interne de l'entreprise de « fabrique de modèles ».

Qu'est-ce que la « fabrique de modèles » ?

La « fabrique de modèles » de Poolside associe une petite équipe de chercheurs de haut niveau à une infrastructure d'entraînement conçue pour sortir rapidement des modèles. Selon Eiso Kant, c'est ce pipeline qui a permis à une équipe réduite d'entraîner Laguna S. Il ne s'agit pas d'un aboutissement, mais du premier résultat d'un processus désormais rodé.

L'idée centrale de l'approche : ne pas courir après la taille pour la taille, mais bâtir un processus d'entraînement reproductible, où chaque nouveau modèle coûte moins cher et sort plus vite que le précédent.

• Développeur : le laboratoire d'IA Poolside
• Modèle : Laguna S, MoE de 118 milliards de paramètres
• Résultat annoncé : surpasse le modèle ouvert Thinky (~1 billion de paramètres)
• Intervenant : Eiso Kant, cofondateur et co-CEO
• Source : entretien au podcast Latent Space

Pourquoi Laguna S est intéressant

Laguna S intrigue d'abord par l'écart de taille : 118 milliards de paramètres contre environ 1 billion pour le modèle open-weights Thinky, soit près de neuf fois moins, pour une qualité supérieure, d'après Poolside. Ce résultat repose sur l'architecture Mixture-of-Experts (MoE) : à chaque requête, seule une partie des « experts » du réseau est activée. Le modèle calcule donc plus vite et à moindre coût qu'un modèle dense de même taille nominale.

Cet écart alimente un vieux débat : qu'est-ce qui fait la qualité d'un modèle, le nombre brut de paramètres ou l'ingénierie de l'entraînement ? Poolside parie sur la seconde.

Pourquoi cela compte pour l'industrie

L'arrivée de Laguna S montre qu'une petite équipe peut rivaliser avec des modèles d'un ordre de grandeur plus gros. D'après Latent Space, toute la « fabrique » repose sur un groupe restreint de chercheurs, sans les effectifs massifs des leaders du marché.

Pour le secteur, cela remet en question la formule habituelle selon laquelle plus de GPU et plus de personnel donnent un modèle plus puissant. Poolside affirme qu'avec un processus bien construit, un modèle de 118 milliards de paramètres bat un modèle d'un billion. Le goulot d'étranglement se déplacerait donc de l'échelle vers l'ingénierie de l'entraînement.

«

Et ce n'est que le début », a déclaré Eiso Kant, cofondateur et co-CEO de Poolside, à propos de la sortie de Laguna S, dans l'entretien accordé à Latent Space.

Ce que cela signifie

Poolside affirme avoir appris à produire des modèles compétitifs avec des moyens réduits, et présente Laguna S comme le premier d'une série. Si des tests indépendants confirment ces résultats, la tendance se renforcera : l'efficacité de l'entraînement et l'architecture MoE pèsent de plus en plus lourd face à la taille absolue d'un modèle.

Questions fréquentes

Qu'est-ce que Laguna S ?

Laguna S est un modèle de langage de Poolside, doté d'une architecture Mixture-of-Experts et de 118 milliards de paramètres. Selon l'entreprise, il surpasse le modèle ouvert Thinky, d'environ 1 billion de paramètres.

Qui est Eiso Kant ?

Eiso Kant est cofondateur et co-CEO de Poolside. C'est lui qui, dans l'entretien au podcast Latent Space, a détaillé la « fabrique de modèles » et l'entraînement de Laguna S.