Poolside e Laguna S: MoE de 118B supera modelo open-weights de 1 trilhão de parâmetros da Thinky

A Poolside, laboratório de IA, treinou o Laguna S, um modelo MoE de 118 bilhões de parâmetros que, segundo a empresa, supera o modelo aberto Thinky, de cerca de 1 trilhão de parâmetros. Eiso Kant, cofundador e co-CEO da Poolside, falou sobre o assunto em entrevista ao podcast Latent Space e chamou a infraestrutura interna da empresa de «fábrica de modelos».

O que é a «fábrica de modelos»

A «fábrica de modelos» da Poolside combina uma pequena equipe de pesquisadores de ponta com uma infraestrutura de treinamento voltada para lançar modelos com rapidez. De acordo com Eiso Kant, foi esse pipeline que permitiu a uma equipe enxuta treinar o Laguna S — e o modelo não é um ponto de chegada, mas o primeiro resultado de um processo já bem ajustado.

A ideia central da abordagem é não perseguir tamanho pelo tamanho, e sim montar um processo de treinamento repetível, em que cada novo modelo custe menos e fique pronto mais rápido que o anterior.

• Desenvolvedor: laboratório de IA Poolside
• Modelo: Laguna S, MoE de 118 bilhões de parâmetros
• Resultado declarado: supera o modelo aberto Thinky (~1 trilhão de parâmetros)
• Porta-voz: Eiso Kant, cofundador e co-CEO
• Fonte: entrevista ao podcast Latent Space

O que torna o Laguna S interessante

O que chama atenção no Laguna S é a diferença de tamanho: 118 bilhões de parâmetros contra cerca de 1 trilhão do modelo open-weights Thinky — quase nove vezes menos, com qualidade superior, segundo a Poolside. Isso é possível graças à arquitetura Mixture-of-Experts (MoE): a cada requisição, apenas uma parte dos «especialistas» da rede é ativada, de modo que o modelo processa mais rápido e a um custo menor do que um modelo denso do mesmo tamanho nominal.

Essa diferença alimenta um debate antigo sobre o que determina a qualidade de um modelo: o número bruto de parâmetros ou a engenharia do treinamento. A Poolside aposta na segunda opção.

Por que isso importa para o setor

O surgimento do Laguna S mostra que uma equipe pequena pode competir com modelos uma ordem de grandeza maiores. Segundo o Latent Space, toda a «fábrica» foi construída por um grupo compacto de pesquisadores, sem os grandes times que os líderes do mercado costumam ter.

Para a indústria, isso questiona a fórmula habitual de que «mais GPUs e mais gente resultam em um modelo mais forte». A Poolside sustenta que, com o processo certo, um modelo de 118 bilhões de parâmetros supera um de 1 trilhão — ou seja, o gargalo deixa de ser a escala e passa a ser a engenharia de treinamento.

«E isso é só o começo», disse

Eiso Kant, cofundador e co-CEO da Poolside, sobre o lançamento do Laguna S, em entrevista ao Latent Space.

O que isso significa

A Poolside afirma ter aprendido a lançar modelos competitivos com poucos recursos e diz que o Laguna S é apenas o primeiro de uma série. Se os resultados forem confirmados por testes independentes, a tendência se reforça: a eficiência do treinamento e a arquitetura MoE passam a pesar mais do que o tamanho absoluto do modelo.

Perguntas frequentes

O que é o Laguna S?

O Laguna S é um modelo de linguagem da Poolside com arquitetura Mixture-of-Experts e 118 bilhões de parâmetros. Segundo a empresa, ele supera o modelo aberto Thinky, de cerca de 1 trilhão de parâmetros.

Quem é Eiso Kant?

Eiso Kant é cofundador e co-CEO da Poolside. Foi ele quem, em entrevista ao podcast Latent Space, falou sobre a «fábrica de modelos» e o treinamento do Laguna S.