Poolside и Laguna S: 118B MoE обходит триллионную open-weights модель Thinky

Le laboratoire d'IA Poolside a entraîné Laguna S — un modèle MoE de 118 milliards de paramètres qui, selon l'entreprise, surpasse le modèle open-weights Thinky, d'environ 1 000 milliards de paramètres. C'est ce qu'a révélé le cofondateur et co-CEO de Poolside, Eiso Kant, dans une interview accordée au podcast Latent Space, où il a qualifié l'infrastructure interne de l'entreprise d'« usine à modèles ».

Qu'est-ce qu'une « usine à modèles »

L'« usine à modèles » de Poolside associe une petite équipe de chercheurs de haut niveau à une infrastructure d'entraînement conçue pour une sortie rapide des modèles. Selon Eiso Kant, c'est précisément ce pipeline qui a permis à une équipe compacte d'entraîner Laguna S, et il ne s'agit pas d'un point final, mais du premier résultat d'un processus désormais rodé.

L'idée clé de cette approche n'est pas de courir après la taille pour la taille, mais de construire un processus d'entraînement reproductible où chaque modèle suivant coûte moins cher et sort plus vite que le précédent.

• Développeur — Poolside AI Lab
• Modèle — Laguna S, MoE de 118 milliards de paramètres
• Résultat annoncé — surpasse le modèle open-weights Thinky (~1 000 milliards de paramètres)
• Intervenant — Eiso Kant, cofondateur et co-CEO
• Source — interview accordée au podcast Latent Space

Ce qui rend Laguna S intéressant

Laguna S se distingue par l'écart de taille : 118 milliards de paramètres contre environ 1 000 milliards pour le modèle open-weights Thinky — près de neuf fois moins, tout en offrant, selon Poolside, une qualité supérieure. Cela s'explique par l'architecture Mixture-of-Experts (MoE) : pour chaque requête, seule une partie des « experts » du réseau est activée, ce qui permet au modèle de calculer plus vite et à moindre coût qu'un modèle dense de même taille nominale.

Cet écart alimente le vieux débat sur ce qui détermine la qualité d'un modèle : le nombre brut de paramètres ou l'ingénierie de l'entraînement. Poolside mise sur la seconde option.

Pourquoi c'est important pour le secteur

L'apparition de Laguna S montre qu'une petite équipe peut rivaliser avec des modèles un ordre de grandeur plus grands. Selon Latent Space, toute l'« usine » a été construite par un groupe compact de chercheurs — sans les effectifs gigantesques dont disposent les leaders du marché.

Pour l'industrie, cela remet en question la formule habituelle « plus de GPU et plus de personnes égale un modèle plus puissant ». Poolside affirme qu'avec un processus correctement construit, un modèle de 118 milliards de paramètres bat un modèle de 1 000 milliards, ce qui signifie que le goulot d'étranglement se déplace de l'échelle vers l'ingénierie de l'entraînement.

«

Et ce n'est que le début », — Eiso Kant, cofondateur et co-CEO de Poolside, à propos du lancement de Laguna S dans une interview accordée à Latent Space.

Ce que cela signifie

Poolside affirme avoir appris à sortir des modèles compétitifs avec peu de moyens et que Laguna S n'est que le premier d'une série. Si les résultats sont confirmés par des tests indépendants, cela renforcera une tendance : l'efficacité de l'entraînement et l'architecture MoE commencent à peser plus lourd que la taille absolue du modèle.

Questions fréquentes

Qu'est-ce que Laguna S ?

Laguna S est un modèle de langage de Poolside doté d'une architecture Mixture-of-Experts et de 118 milliards de paramètres. Selon l'entreprise, il surpasse le modèle open-weights Thinky, d'environ 1 000 milliards de paramètres.

Qui est Eiso Kant ?

Eiso Kant est le cofondateur et co-CEO de l'entreprise Poolside. C'est lui qui, dans une interview accordée au podcast Latent Space, a parlé de l'« usine à modèles » et de l'entraînement de Laguna S.