Artificial Analysis→ original

Reflection lança o Beam: 501B de parâmetros e 30 pontos no Intelligence Index

A Reflection apresentou o Beam, seu primeiro modelo com pesos abertos: 501B de parâmetros, 23B ativos e contexto de 1M de tokens. No Artificial Analysis Intelligence Index, ele marcou 30 pontos. É o segundo lugar entre os open weights americanos, atrás apenas do Meta Muse Spark Open (39), e o décimo entre todos os modelos abertos. O Beam gasta cerca de 26k tokens de saída por tarefa, enquanto o K2 Horizon, com 31 pontos, gasta cerca de 52k. O ponto forte do modelo são os cenários agênticos; os fracos são o trabalho no terminal e as alucinações. • AutomationBench-AA: 48,5% contra 37,2% do K2 Horizon. • Terminal-Bench 4.0: apenas 3,0%. • Taxa de alucinação no AA-Omniscience: 47%.

Processado por IA de Artificial Analysis; editado por Hamidun News
Reflection lança o Beam: 501B de parâmetros e 30 pontos no Intelligence Index
Fonte: Artificial Analysis. Colagem: Hamidun News.
◐ Ouvir artigo

A Reflection chegou ao mercado já com um modelo que os testes independentes colocam na parte de cima do ranking dos sistemas abertos americanos. O Beam é um modelo com pesos abertos, com 501 bilhões de parâmetros no total e 23 bilhões ativos por token. No Artificial Analysis Intelligence Index, ele fez 30 pontos. Entre os open weights americanos, só o Meta Muse Spark Open, com 39 pontos, aparece acima. O Nemotron 3.5 Super VL, da NVIDIA, lançado um dia antes, ficou com 26. Entre todos os modelos abertos, o Beam ocupa a décima posição e está um ponto atrás do K2 Horizon, dos Emirados Árabes Unidos (31). Fora da China, só esses dois modelos ficam acima dele.

Poucos tokens por unidade de inteligência

O principal diferencial do Beam não está na pontuação absoluta, mas no custo que o modelo paga por ela. Em cada tarefa do índice, ele gasta cerca de 26k tokens de saída: aproximadamente 19k vão para o raciocínio e 7k para a resposta. O K2 Horizon, que está um ponto à frente, consome cerca de 52k, ou seja, o dobro. Os modelos fechados continuam definindo o patamar: o GPT-6 Astra (max) soma 53 pontos com um orçamento de cerca de 27k tokens, quase igual ao do Beam.

A parcela da resposta final na saída do Beam é de apenas 26%. Esse é o 28º pior resultado entre os 219 modelos testados no Intelligence Index v4.3. O modelo pensa muito e fala pouco. No Cyber Index, em que resolve 34% das tarefas, isso o coloca na fronteira "resultado versus tokens de saída", ao lado do GPT-6 Sol (Daybreak Blue). Entre os open weights americanos testados, o Beam lidera esse índice.

Agentes vão bem, terminal vai mal

O desempenho varia bastante de um teste para outro. Os principais números:

  • AutomationBench-AA: 48,5%. O K2 Horizon faz 37,2% e o Qwen3.8 27B, 48,2%.
  • CritPt: 13,1%. É mais que o dobro do K2 Horizon (4,6%) e do Qwen3.8 27B (5,4%).
  • Terminal-Bench 4.0: 3,0%. O Qwen3.8 27B obtém 5,6% e o Muse Spark Open, 8,1%.
  • AA-Briefcase: 976 Elo, outro ponto fraco.
  • Janela de contexto: 1M de tokens. Modalidade apenas de texto.

Em programação, o resultado é mais modesto. Combinado ao Mirror, o CLI aberto da própria Reflection, o Beam faz 28 pontos no Coding Agent Index. Faltam 15 pontos para a configuração seguinte, o Claude Code com Qwen3.8 Max (43), e 40 para os líderes (68). Em compensação, o modelo é econômico em tokens: só gastam menos o Codex com GPT-6 Astra e o Codex com GPT-6.1 Sol.

Sabe mais, mas também inventa mais

No AA-Omniscience, o Beam responde corretamente a 33% das perguntas. No K2 Horizon, o índice é de 18%; no Qwen3.8 27B, 16%. O preço desse conhecimento mais amplo é alto: a taxa de alucinação do Beam é de 47%, contra 26% do K2 Horizon e 30% do Qwen3.8 27B. O modelo diz "não sei" com menos frequência e erra com confiança mais vezes. A pontuação final dele no índice é 1,5, ainda melhor que a dos concorrentes (−3,0 e −10,0). O ganho em precisão compensa a penalização pelas invenções, mas a margem é pequena.

Para quem o Beam serve na prática

O Beam é um candidato para automação de processos de negócio e cenários agênticos de várias etapas, em que importam o custo por token e o controle sobre os pesos. A economia de metade dos tokens de saída em relação ao K2 Horizon reduz diretamente a conta de inferência em grandes volumes. São apenas 23 bilhões de parâmetros ativos, então a carga de operação é menor que a de modelos densos de tamanho comparável, mas será preciso armazenar todos os 501 bilhões.

Em tarefas de terminal e programação autônoma, o Beam por enquanto parece mais fraco que os concorrentes. Se você está montando um assistente que responde a perguntas factuais sem checar fontes, 47% de alucinações é um risco sério, e será preciso recuperação de informação (retrieval) ou verificação das respostas. Um plano razoável é usar o modelo em pipelines agênticos com verificação externa e deixar a programação para combinações mais fortes. Vale olhar o Mirror à parte: o CLI aberto permite reproduzir os resultados da Reflection na sua própria infraestrutura e compará-los com o que o teste independente mostrou.

ZK
Hamidun News
Notícias de AI sem ruído. Seleção editorial diária de mais de 50 fontes. Produto de Zhemal Khamidun, Head of AI na Alpina Digital.
✦ Autonomous AI Agents

Delegate Deep Research, Coding & Workflows to an AI Agent

Deploy autonomous multi-step execution with NomadNet Agent (agent.nomadnet.ai) — automated web research, data synthesis, code generation, and complex task orchestration.

Launch NomadNet Agent →NomadNet AI Platform
O que você acha?
Carregando comentários…