Sber lançou GigaChat 3.5 Ultra no open source com 432 bilhões de parâmetros

Sberbank lançou GigaChat 3.5 Ultra com 432 bilhões de parâmetros como código aberto

Sberbank lançou um novo modelo insignia, GigaChat 3.5 Ultra, para o domínio público (código aberto) — contém 432 bilhões de parâmetros, quase 40% menos que o anterior insignia GigaChat 3.1 Ultra com 700 bilhões de parâmetros. Os pesos do modelo estão disponíveis para os desenvolvedores implantarem de forma independente, sem entrar em contato com a API fechada da empresa.

O quão compacto o modelo se tornou

GigaChat 3.5 Ultra pesa 432 bilhões de parâmetros versus 700 bilhões para GigaChat 3.1 Ultra — uma redução de quase 40%. Os desenvolvedores enfatizam que isso não é uma troca de "menor, mas mais barato": de acordo com eles, novos dados, receita de treinamento atualizada e mudanças arquitetônicas tornaram o modelo simultaneamente mais compacto e mais forte.

• GigaChat 3.5 Ultra — 432 bilhões de parâmetros, distribuído como código aberto
• GigaChat 3.1 Ultra (anterior insignia da linha) — 700 bilhões de parâmetros
• Redução do tamanho do modelo — aproximadamente 40%, ou 268 bilhões de parâmetros
• Primeira vez para a linha GigaChat: arquitetura híbrida proprietária escalada para centenas de bilhões de parâmetros

O que mudou na arquitetura

O time Sber escalou sua arquitetura GigaChat híbrida proprietária para centenas de bilhões de parâmetros pela primeira vez dentro de um único lançamento. Arquitetura híbrida em tais modelos tipicamente se refere a uma combinação de diferentes tipos de camadas e mecanismos de atenção, o que permite escalar sem crescimento proporcional em custos computacionais. Os desenvolvedores dizem que isso permitiu acelerar simultaneamente a inferência (geração de respostas) e expandir as capacidades do modelo — principalmente em código, cenários de agente (quando o modelo chama ferramentas e realiza cadeias de ações), e áreas temáticas complexas.

"Isso não é um compromisso de 'menor, mas mais barato': devido a novos

dados, uma receita de treinamento atualizada, e mudanças arquitetônicas, o modelo se tornou mais forte, bem como mais eficiente em memória e velocidade de geração," — de acordo com o blog oficial de Sber no Habr.

Por que a empresa reduziu o tamanho do modelo

Sber explica a redução do tamanho do modelo não como economia, mas como cálculo de engenharia: um modelo menor é mais eficiente em memória e velocidade de geração enquanto mantém ou melhora a qualidade. A diferença de 268 bilhões de parâmetros entre GigaChat 3.1 Ultra e GigaChat 3.5 Ultra se reflete diretamente na infraestrutura: quanto menos parâmetros um modelo tem, menos memória de vídeo é necessária para carregá-lo e maior é a velocidade de geração de tokens com o mesmo equipamento.

O que isso significa para os desenvolvedores

Para aqueles que implantam modelos de código aberto independentemente, reduzir o insignia de 700 bilhões para 432 bilhões de parâmetros significa um limite de entrada de hardware mais baixo com qualidade de resposta comparável ou superior. GigaChat 3.5 Ultra está orientado, entre outras coisas, para código e cenários de agente — exatamente as tarefas onde os desenvolvedores mais frequentemente comparam modelos de código aberto com APIs fechadas de concorrentes.

O que isso significa

Sber continua publicando modelos insignia GigaChat em acesso aberto e simultaneamente se desloca para arquiteturas mais compactas e rápidas — uma tendência agora característica de toda a indústria de modelos de linguagem grande, onde os desenvolvedores estão buscando um equilíbrio entre o tamanho do modelo, custo de infraestrutura, e sua utilidade prática em código e cenários de agente.