T-Bank troca enxame de LLMs por um único modelo de 32B e reduz o custo das consultas em 2,8–3,9 vezes

Grandes empresas que não podem enviar dados para nuvens externas esbarram numa conta simples: cada rede neural especializada em uma tarefa ocupa GPUs escassas. Pesquisadores do T-Bank propuseram duas formas de reduzir essa conta e as descreveram na EMNLP 2026, conferência de nível A*, em Budapeste. Um único modelo de 32 bilhões de parâmetros passou a atender mais de 200 serviços internos do banco e metade do tráfego de sua plataforma de LLMs. O processamento ficou de 2,8 a 3,9 vezes mais barato do que no Qwen3-235B, e em alguns serviços a economia chegou a 9 vezes.

Um modelo universal no lugar de um enxame de especialistas

O cenário típico em um ambiente protegido é este: um modelo para seguir instruções, outro para chamada de funções, um terceiro para cenários corporativos. Cada um precisa ficar na memória, ser escalado e ser atualizado. A equipe do T-Bank seguiu outro caminho e descreveu pela primeira vez uma metodologia reprodutível de pós-treinamento de LLMs em russo com habilidades de agente.

O esquema tem três etapas. Primeiro, o Qwen3-32B passou por fine-tuning em uma mistura de dados corporativos e abertos. Depois, os pesquisadores aplicaram aprendizado por reforço em três frentes: seguir instruções, chamar funções e executar tarefas corporativas. O resultado foram variantes especializadas, que foram unidas em um único modelo pelo método SLERP, ou seja, a interpolação esférica de pesos. Com a fusão, não é preciso rodar três redes separadas na inferência: basta manter uma.

O modelo compacto superou o gigante

A comparação foi feita com o Qwen3-235B, que é cerca de sete vezes mais pesado. Para um banco, importa não só o preço, mas também a qualidade nas próprias tarefas, e nesse quesito o modelo de 32B saiu na frente.

• Testes corporativos: 69,6 pontos contra 65,8 do Qwen3-235B.
• Seguimento de instruções: 0,85 contra 0,83.
• Chamada de funções: 0,79 contra 0,77.
• Custo de processamento das consultas: de 2,8 a 3,9 vezes menor, chegando a 9 vezes em alguns serviços.
• Carga: mais de 200 serviços internos e cerca de metade do tráfego da plataforma de LLMs do banco.

A diferença nas métricas é pequena, mas a direção importa. Um modelo ajustado para um ambiente específico não perde para o gigante generalista nas tarefas desse mesmo ambiente e consome bem menos hardware.

Leitura de PDFs em uma única H100

O segundo trabalho trata da digitalização de documentos em papel. Os pesquisadores montaram um pipeline de seleção de exemplos difíceis de PDF e, com base nele, treinaram um modelo de visão e linguagem baseado no Qwen3.5-35B-A3B-Base. O modelo extrai quaisquer dados cadastrais e valores a partir de uma consulta em texto: não é preciso escrever um template separado para cada tipo de documento.

A arquitetura trabalha a favor da economia. No total, o modelo tem 35 bilhões de parâmetros, mas apenas 3 bilhões são ativados por consulta. Uma única Nvidia H100 basta para executá-lo. O processamento de documentos custa 80% menos do que o trabalho totalmente manual e 50% menos do que os melhores equivalentes abertos.

Vale prestar atenção à escolha dos dados. A contribuição principal está na seleção de exemplos difíceis, e não simplesmente em mais scans: o modelo é treinado justamente nos casos em que as soluções convencionais erram.

O que dá para levar para o seu stack

Os pesquisadores publicaram a metodologia de criação dos testes internos, a descrição do pipeline de pós-treinamento e um modelo de linguagem com pesos abertos, treinado em dados públicos. Ele está disponível no Hugging Face (t-tech/T-pro-it-2.1). Os dados corporativos do banco continuam internos, mas a receita pode ser reproduzida com os dados de cada empresa.

Para equipes com ambiente fechado, há algumas conclusões. Se você já tem vários modelos especializados sobre a mesma base, vale testar a fusão via SLERP após o RL: é uma forma de reduzir o parque de instâncias sem perder qualidade nas tarefas principais. Os benchmarks internos devem ser montados antes da migração, pois foi neles que o modelo de 32B mostrou vantagem sobre o de 235B. No processamento de documentos, a combinação de um MoE com poucos parâmetros ativos e uma única H100 significa que a tarefa deixa de exigir um cluster dedicado e cabe em uma só placa.

Por ora, são resultados de um único banco sobre a sua própria carga, e levar a abordagem para outros setores exigirá medições próprias. Ainda assim, os números de economia e os materiais abertos tornam o trabalho útil para qualquer um que calcule o custo do token em infraestrutura fechada.