Reflection lanza Beam: un modelo MoE abierto de 501B parámetros con licencia Apache 2.0

Reflection, un nuevo laboratorio estadounidense, ha publicado en Hugging Face su primer modelo, Beam. Es un MoE de 501 mil millones de parámetros, con 23 mil millones activos por token, entrada de texto, contexto de 1M tokens y licencia Apache 2.0. Está orientado a programación y tareas agénticas, y su público objetivo está claro: equipos que necesitan un modelo de escala frontera en hardware propio, en su propia nube y con posibilidad de ajustarlo a sus necesidades.

Junto con el lanzamiento llega un arnés propio escrito en Rust, abierto igual que el modelo. Reflection y Hugging Face han preparado juntas recetas para inferencia, SFT y RL, y la compatibilidad con transformers, vLLM y SGLang está disponible desde el día cero. Para el RL de parámetros completos proponen usar Miles.

Dónde ahorra Beam y dónde llega la factura de memoria

Es el trato clásico de los MoE dispersos: se calcula como un modelo pequeño, pero se paga en memoria como uno grande. Beam tiene 52 capas: las tres primeras son densas y las 49 restantes se sustituyen por bloques de 256 expertos, con 8 enrutados por token. Cada experto es un MLP SwiGLU con tamaño intermedio de 2560 y unos 39M de parámetros, y entre todos concentran el 98,4% de los pesos. No hay experto compartido. El enrutador repite el esquema de DeepSeek-V3 con restricción por grupos: puntuaciones sigmoides, 8 grupos de 32 expertos, los 4 mejores grupos y, dentro de ellos, top-8. Las salidas de los expertos se normalizan y se escalan por 2,5.

En BF16 el checkpoint pesa alrededor de 1 TB. NVFP4 para Blackwell lo reduce a unos 280 GB, aunque una parte de los parámetros se mantiene en BF16 para conservar la precisión. Para Hopper y Ampere hay una versión en FP8. Dos B200 de 180 GB caben formalmente los pesos, pero sin espacio para la KV-cache, por lo que los autores recomiendan cuatro B200 (720 GB). También sirven un nodo 8×B200, dos B300 de 288 GB e incluso 8×RTX Pro 6000. En H200 hacen falta al menos 16 tarjetas: con 8 GPU, los pesos de 139 GB por tarjeta no dejan margen en los 141 GB disponibles.

Atención híbrida y conexiones residuales inusuales

La caché es la segunda partida de gasto, y aquí Beam parece bien resuelto. De las 52 capas, 43 usan una ventana deslizante de 512 tokens con RoPE, y solo 9 (una de cada seis más la última) atienden a todo el contexto sin codificación posicional. En su lugar, la consulta se multiplica por un escalador de crecimiento lento, (1 + (pos + 1) / 2048) ** 0.

1, que funciona como una temperatura e impide que el softmax se «desparrame» a larga distancia. La caché crece 36 KiB por token en lugar de 208 KiB. Con el contexto completo de 1M, son 36,08 GiB frente a 208 GiB; con 128K, 4,6 GiB frente a 26 GiB.

Las cifras corresponden a una secuencia en BF16.

La atención usa GQA con 48 cabezas de query y 8 cabezas KV, RMSNorm sobre queries y keys, además de una puerta sigmoide entrenable para cada canal de cabeza. El detalle más inusual es el flujo residual. En el paso k, la salida de la subcapa se suma con peso 1/sqrt(k), mientras que el flujo acumulado se multiplica por sqrt((k-1)/k). La suma de los cuadrados de los pesos es igual a uno, la escala del flujo es constante y, tras 104 sumas, el embedding y cada subcapa aportan lo mismo. Los logits pasan por un tanh-softcap de ±30 en FP32.

Qué muestran los benchmarks y cómo ejecutarlo

Las cifras las ha proporcionado el equipo de Reflection, para BF16 / FP8 / NVFP4:

• SWE-bench Verified: 81,6% / 80,2% / 80,7%
• SWE-bench Pro v1: 66,1% / 65,9% / 65,6%
• SWE-bench Pro v2-Hard: 76,5% / 78,4% / 78,6%
• SWE-bench Multilingual: 78,3% / 78,1% / 77,5%
• Terminal Bench v2.1: 80,1% / 78,9% / 78,2%
• DeepSWE v1.1: 43,3% / 43,0% / 42,7%
• AIME 2026: 97,7% / 98,0% / 97,5%
• GPQA Diamond: 90,6% / 90,3% / 89,3%
• LiveCodeBench: 88,3% / 88,1% / 87,4%
• HLE sin herramientas: 36,0% / 36,0% / 34,8%; con herramientas: 51,1% en las tres versiones
• MCP Atlas: 80,8% / 81,5% / 80,5%
• BrowseComp con gestión de contexto: 76,8% / 76,7% / 75,6%
• DeepSearchQA: 80,5% / 79,6% / 81,1%
• LongBench v2: 67,5% / 67,6% / 67,2%
• IFBench: 79,6% / 80,7% / 79,2%
• AA-LCR: 78,2% / 79,4% / 78,7%

La conclusión principal de la tabla: pasar a NVFP4 cuesta, de media, fracciones de punto porcentual, y reducir a la mitad el volumen de pesos hace realista el autoalojamiento.

El modelo ofrece cinco niveles de razonamiento (low, medium por defecto, high, xhigh, max). La opción preserve_thinking conserva el razonamiento entre turnos, y la llamada a herramientas usa una gramática propia de tipo XML. El tokenizador incluye la plantilla de respuesta, y parse_response separa razonamiento, respuesta y llamadas sin expresiones regulares, convirtiendo los argumentos a los tipos de los esquemas de las herramientas. Para acelerar la inferencia existe la decodificación especulativa DFlash2: un modelo borrador propone hasta 15 tokens y Beam los verifica en una sola pasada.

En la práctica, la ejecución es así. En vLLM, BF16 se levanta con tensor-parallel-size 16 en dos nodos 8×H200, mientras que en SGLang NVFP4 cabe en 4 B300 con un contexto de 1 048 576. En transformers (versión 5.20.1 o posterior) funciona expert parallelism, con un experto por dispositivo, y la atención, las capas densas y los embeddings se replican (8B parámetros, 16 GB). El número de dispositivos debe dividir 256. Para quienes no tienen Blackwell, se ofrecen Inference Providers serverless. Además, Reflection repartirá $10 000 en créditos de Hub entre los mejores proyectos: demos, cuantizaciones, datasets sintéticos, entornos de RL o benchmarks.