IBM revela como construiu o Granite 4.1: 15 trilhões de tokens, 512K de contexto e aposta em qualidade

Em 29 de abril de 2026, a IBM publicou no blog da Hugging Face uma análise detalhada de como a família Granite 4.1 foi criada. A empresa revelou não só a arquitetura dos modelos, mas todo o pipeline: da composição dos datasets e do contexto longo à filtragem dos dados de SFT e ao reinforcement learning em várias etapas.

Como a série é construída

O Granite 4.1 é uma família de modelos densos decoder-only com 3B, 8B e 30B parâmetros. As três variantes seguem a mesma lógica básica: Grouped Query Attention, Rotary Position Embeddings, SwiGLU, RMSNorm e embeddings de entrada e saída compartilhados. A diferença está principalmente na escala: número de camadas, tamanho dos estados ocultos e parâmetros do MLP. Essa abordagem permite comparar os modelos dentro de uma mesma linha sem ressalvas por filosofias arquitetônicas distintas.

A tese central da IBM é que a qualidade de um modelo pequeno depende não só do orçamento de computação, mas também da disciplina no trato dos dados. Por isso o Granite 4.1 foi construído como modelos densos, e não MoE, com a aposta numa troca cuidadosa das misturas de dados ao longo do treinamento. Todos os modelos saem sob a licença Apache 2.0, e as versões instruct suportam 12 idiomas, incluindo inglês, alemão, espanhol, japonês, árabe, chinês e português.

Cinco etapas de treinamento

O pré-treinamento do Granite 4.1 foi feito do zero e abrangeu cerca de 15 trilhões de tokens. A IBM dividiu o processo em cinco fases: primeiro o modelo adquire uma base linguística ampla com dados da web, depois reforça matemática e código e, em seguida, passa gradualmente a amostras de maior qualidade e mais especializadas. Nas fases finais, a mistura recebe traços longos de raciocínio, dados sintéticos e datasets de instruções, e a última treina separadamente o trabalho com contexto muito longo.

• Fase 1: 10 trilhões de tokens de pré-treinamento geral, com cerca de 59% da mistura vindo do CommonCrawl.
• Fase 2: mais 2 trilhões de tokens com forte aumento da fatia de matemática e código, para 35% e 30%, respectivamente.
• Fase 3: 2 trilhões de tokens de annealing de alta qualidade, com chain-of-thought, dados sintéticos e de instruções.
• Fase 4: mais 0,5 trilhão de tokens com foco na mistura de maior qualidade e learning rate reduzida a zero.
• Fase 5: long-context extension, que amplia a janela de 4K para 32K, 128K e depois 512K.

Para que o contexto longo não prejudique a qualidade em consultas curtas, a IBM faz o merge do modelo após cada etapa de LCE. Na ampliação final para 512K nas versões de 8B e 30B, foi usada uma mistura de livros e repositórios de código. Nos modelos base, isso trouxe resultados notáveis no RULER: a variante de 8B mantém a métrica alta mesmo em 128K, e a de 30B vai ainda mais alto. É um sinal importante para equipes que precisam de mais do que respostas de chat: trabalho com documentos longos, logs e grandes trechos de código.

Pós-treinamento e qualidade

Depois do pré-treinamento, a IBM passou o dataset de SFT por um rigoroso controle de qualidade. A seleção final tem cerca de 4,1 milhões de exemplos, mas antes cada resposta foi verificada por um esquema LLM-as-Judge e por um conjunto de regras determinísticas. O modelo avaliador analisava seguimento da instrução, correção, completude, concisão, naturalidade e calibração, e entre os motivos rígidos de rejeição estavam alucinações, premissas falsas e erros de cálculo. Também foram aplicadas normalização, validação de esquema, filtros de tamanho e deduplicação global.

Na etapa de RL, a IBM não se limitou a uma única passada. Usou GRPO on-policy com DAPO loss e montou quatro estágios sequenciais: RL multidomínio, RLHF para utilidade geral e diálogo, RL de identidade e calibração de conhecimento e, por fim, um RL de matemática separado, que recupera e melhora as habilidades matemáticas após o RLHF. Segundo a IBM, só o RLHF adicionou em média cerca de 18,9 pontos no AlpacaEval em relação aos checkpoints de SFT.

O resultado mais chamativo: o modelo instruct Granite 4.1 8B se equipara de forma consistente ao Granite 4.0-H-Small 32B-A9B e o supera em vários testes. Em paralelo, a IBM lançou variantes FP8, que reduzem aproximadamente pela metade os requisitos de memória e de espaço em disco.

O que isso significa

A IBM mostrou que, entre os LLMs open source, é possível competir não só pelo tamanho do modelo, mas pela qualidade da receita de treinamento. Para as empresas, isso torna o Granite 4.1 um candidato prático: latência previsível sem longos traços de raciocínio, contexto longo, licença aberta e custo de execução menor do que o de sistemas mais pesados.