Reflection lança o Beam: modelo MoE aberto de 501B de parâmetros sob Apache 2.0

A Reflection, um novo laboratório americano, publicou no Hugging Face seu primeiro modelo, o Beam. É um MoE de 501 bilhões de parâmetros, com 23 bilhões ativos por token, entrada somente de texto, contexto de 1M de tokens e licença Apache 2.0. O modelo foi otimizado para programação e tarefas agênticas, e o público-alvo é claro: equipes que querem um modelo de escala de fronteira rodando em hardware próprio, na própria nuvem e com a possibilidade de fazer fine-tuning sob medida.

O lançamento inclui um harness próprio em Rust, aberto como o próprio modelo. A Reflection e o Hugging Face prepararam juntos receitas de inferência, SFT e RL, e o suporte em transformers, vLLM e SGLang existe desde o dia zero. Para rodar RL com todos os parâmetros, a sugestão é usar o Miles.

Onde o Beam economiza e onde cobra a conta de memória

O acordo clássico dos MoE esparsos: você computa como um modelo pequeno, mas paga em memória como um grande. O Beam tem 52 camadas; as três primeiras são densas, e as outras 49 foram substituídas por blocos de 256 experts, com 8 roteados por token. Cada expert é um MLP SwiGLU com tamanho intermediário de 2560 e cerca de 39M de parâmetros, e juntos eles concentram 98,4% dos pesos. Não há expert compartilhado. O roteador segue o esquema do DeepSeek-V3 com restrição por grupos: pontuações sigmoides, 8 grupos de 32 experts, os 4 melhores grupos e, depois, top-8 dentro deles. As saídas dos experts são normalizadas e escaladas por 2,5.

Em BF16, o checkpoint pesa cerca de 1 TB. O NVFP4, para Blackwell, reduz esse tamanho para aproximadamente 280 GB, e parte dos parâmetros permanece em BF16 para preservar a precisão. Para Hopper e Ampere, há uma versão em FP8. Dois B200 de 180 GB comportam os pesos apenas formalmente, sem deixar espaço para o KV-cache, e por isso os autores recomendam quatro B200 (720 GB). Também servem um nó 8×B200, dois B300 de 288 GB e até 8×RTX Pro 6000. No H200, são necessárias pelo menos 16 placas: com 8 GPUs, os pesos de 139 GB por placa não deixam espaço nas placas de 141 GB.

Atenção híbrida e um fluxo residual incomum

O cache é a segunda fonte de custo, e aqui o Beam parece bem resolvido. Das 52 camadas, 43 usam janela deslizante de 512 tokens com RoPE, e apenas 9 (uma a cada seis, mais a última) enxergam o contexto inteiro, sem codificação posicional. No lugar dela, a query é multiplicada por um escalar de crescimento lento, (1 + (pos + 1) / 2048) ** 0.

1, que funciona como uma temperatura e evita que o softmax se "espalhe" em distâncias longas. O cache cresce 36 KiB por token, em vez de 208 KiB. No contexto completo de 1M, isso dá 36,08 GiB contra 208 GiB; em 128K, 4,6 GiB contra 26 GiB.

Os números valem para uma única sequência em BF16.

A atenção usa GQA com 48 cabeças de query e 8 cabeças de KV, RMSNorm em queries e keys, além de um gate sigmoide treinável para cada canal da cabeça. O detalhe mais incomum é o fluxo residual. No passo k, a saída da subcamada é somada com peso 1/sqrt(k), e o fluxo acumulado é multiplicado por sqrt((k-1)/k). A soma dos quadrados dos pesos é igual a um, a escala do fluxo permanece constante e, após 104 somas, o embedding e cada subcamada contribuem de forma igual. Os logits passam por um tanh-softcap de ±30 em FP32.

O que os benchmarks mostram e como rodar o modelo

Os números foram fornecidos pela equipe da Reflection, para BF16 / FP8 / NVFP4:

• SWE-bench Verified: 81,6% / 80,2% / 80,7%
• SWE-bench Pro v1: 66,1% / 65,9% / 65,6%
• SWE-bench Pro v2-Hard: 76,5% / 78,4% / 78,6%
• SWE-bench Multilingual: 78,3% / 78,1% / 77,5%
• Terminal Bench v2.1: 80,1% / 78,9% / 78,2%
• DeepSWE v1.1: 43,3% / 43,0% / 42,7%
• AIME 2026: 97,7% / 98,0% / 97,5%
• GPQA Diamond: 90,6% / 90,3% / 89,3%
• LiveCodeBench: 88,3% / 88,1% / 87,4%
• HLE sem ferramentas: 36,0% / 36,0% / 34,8%; com ferramentas: 51,1% nas três versões
• MCP Atlas: 80,8% / 81,5% / 80,5%
• BrowseComp com gerenciamento de contexto: 76,8% / 76,7% / 75,6%
• DeepSearchQA: 80,5% / 79,6% / 81,1%
• LongBench v2: 67,5% / 67,6% / 67,2%
• IFBench: 79,6% / 80,7% / 79,2%
• AA-LCR: 78,2% / 79,4% / 78,7%

A principal conclusão da tabela: migrar para NVFP4 custa, em média, frações de percentual, e a redução do volume de pesos pela metade torna o self-hosting realista.

O modelo tem cinco níveis de raciocínio (low, medium por padrão, high, xhigh, max). A opção preserve_thinking mantém o raciocínio entre turnos, e a chamada de ferramentas usa uma gramática própria, semelhante a XML. O tokenizador traz um template de resposta, e o parse_response separa raciocínio, resposta e chamadas sem regex, convertendo os argumentos para os tipos definidos nos esquemas das ferramentas. Para acelerar a inferência, há decodificação especulativa com o DFlash2: um modelo rascunho propõe até 15 tokens, e o Beam os verifica em uma única passada.

Na prática, a execução funciona assim. No vLLM, o BF16 sobe com tensor-parallel-size 16 em dois nós 8×H200, e no SGLang o NVFP4 cabe em 4 B300 com contexto de 1 048 576. No transformers (versão 5.20.1 ou superior), funciona expert parallelism, com um expert por dispositivo, enquanto a atenção, as camadas densas e os embeddings são replicados (8B de parâmetros, 16 GB). O número de dispositivos deve ser divisor de 256. Para quem não tem Blackwell, há os Inference Providers serverless. A Reflection ainda distribuirá $10 000 em créditos do Hub para os melhores projetos: demos, quantizações, datasets sintéticos, ambientes de RL ou benchmarks.