Mistral libera pesos abertos do Large 4: 1 trilhão de parâmetros, 52 bilhões ativos

A francesa Mistral, a julgar por um post no X, publicou no Hugging Face os pesos abertos do Large 4. O modelo tem 1 trilhão de parâmetros e uma arquitetura que aciona 52 bilhões deles a cada token. A janela de contexto é de 1 milhão de tokens.

A licença é uma MIT modificada, com uma exceção específica para model-as-a-service. O autor do post também informa o preço da API e uma redução de 63% no custo de resolver tarefas do índice de inteligência. Uma ressalva importante: a fonte é um único post de alcance minúsculo, e o texto não traz link para um anúncio oficial nem para a página do modelo.

Por isso, todos os números a seguir são afirmações do autor, não dados verificados.

O que se afirma sobre arquitetura e contexto

A relação de 52 bilhões de parâmetros ativos para 1 trilhão no total significa cerca de 5% dos pesos por token. Essa abordagem esparsa (mixture-of-experts) permite manter uma capacidade enorme no modelo e, ao mesmo tempo, pagar pela inferência como se fosse uma rede densa bem menor. Para quem hospeda o modelo por conta própria, isso não elimina a principal limitação: é preciso manter todos os pesos na memória, ou seja, um trilhão de parâmetros. Mesmo em baixa precisão, isso exige um cluster de porte considerável, e não uma única workstation.

O contexto de 1 milhão de tokens aponta para o uso com grandes bases de código, documentos longos e cenários de agentes com várias etapas. O post não diz nada sobre como a qualidade se sustenta em distâncias longas. O tamanho declarado da janela e a capacidade real de encontrar e usar informações nas suas extremidades são coisas diferentes, e isso precisa ser verificado com testes independentes.

Licença: MIT com ressalva

O autor descreve a licença como uma MIT modificada, com exceção para model-as-a-service. O post não revela o texto completo da formulação. Pelo nome, é possível supor que a exceção restrinja a hospedagem comercial do próprio modelo como serviço por terceiros, mas isso é suposição, não fato. Para empresas que pretendem usar o Large 4 dentro de seus produtos, é provável que haja poucas restrições. Provedores de inferência e revendedores de acesso à API devem ler primeiro o texto original da licença. Enquanto ele não for analisado, ainda é cedo para chamar o Large 4 de modelo totalmente livre, nos moldes de uma MIT pura.

Preços e economia das tarefas

O autor afirma que o custo de resolver uma tarefa do índice de inteligência caiu 63% e agora é de $2,06. O post não informa o nome do índice nem o modelo usado na comparação. Tomando os números ao pé da letra, o custo anterior seria de cerca de $5,57 por tarefa. Esse valor é um cálculo nosso a partir da porcentagem declarada, não um dado do autor. A queda no custo por tarefa resulta do preço dos tokens e também de quantos tokens o modelo gasta raciocinando: uma tarifa barata não ajuda se a resposta sai prolixa.

As tarifas da API são de $0,70 por milhão de tokens de entrada e $2,10 por milhão de tokens de saída. Os tokens de saída custam exatamente três vezes mais que os de entrada. Para cenários com contexto longo e respostas curtas, como busca em documentos ou revisão de código, essa estrutura é vantajosa. Para gerar grandes volumes de texto ou longas cadeias de raciocínio, a maior parte da conta virá dos tokens de saída.

O que verificar antes de adotar

Conjunto mínimo de passos para uma equipe que avalia o Large 4:

• comparar o post com o anúncio oficial da Mistral e com a página do modelo no Hugging Face;
• ler o texto completo da licença e as condições da exceção para model-as-a-service;
• descobrir qual índice e qual modelo de referência estão por trás da redução de 63% no custo;
• rodar tarefas próprias com contexto longo, sem confiar no 1 milhão declarado;
• estimar os requisitos de memória para hospedar por conta própria um modelo de trilhão de parâmetros.

Se as afirmações se confirmarem, o Large 4 será um dos maiores modelos com pesos abertos a ter, ao mesmo tempo, pesos públicos e uma API barata. Por ora, o que temos é uma informação sem documentação como fonte. O mais sensato é tratá-la como motivo para checar os fatos, e não como base para mudar a arquitetura de um produto.