Thinking Machines Lab lanza Inkling-Small: un modelo MoE abierto de 276B que supera a su maestro

Thinking Machines Lab publicó el 2 de agosto de 2026 los pesos de Inkling-Small, un modelo multimodal con arquitectura Mixture-of-Experts, con 276 000 millones de parámetros totales y 12 000 millones activos. Su tamaño es cuatro veces menor que el del Inkling original (975B totales, 41B activos), pero lo supera en la mayoría de los benchmarks clave de programación y razonamiento.

En qué se diferencia Inkling-Small de Inkling

Inkling-Small es un transformer decodificador de 42 capas que sustituye las FFN estándar por una capa MoE dispersa. Cada token se enruta a 6 de 256 expertos, más 2 expertos compartidos que están siempre activos. La atención combina capas locales y globales.

El modelo es multimodal de forma nativa y no necesita un codificador independiente:

• 276B parámetros totales, 12B activos durante la inferencia
• Ventana de contexto de 1M tokens, con un nivel de «esfuerzo» de razonamiento configurable
• Entrada: texto, imágenes (parches de 40×40 píxeles a través de un hMLP de cuatro capas) y audio (espectrogramas dMel, WAV a 16 kHz, hasta 2 minutos)
• Formatos numéricos: BF16, MXFP8 y NVFP4
• Licencia Apache 2.0, con los pesos publicados en Hugging Face

Cómo ejecutar Inkling-Small

El checkpoint en BF16 exige un mínimo de 600 GB de memoria de vídeo en total, es decir, 4× NVIDIA B300 u 8× NVIDIA H200. La versión cuantizada NVFP4 reduce el umbral a 180 GB: el modo W4A4 funciona en una sola tarjeta B300 (requiere arquitectura SM100+) y el W4A16, en dos H200.

Los entornos de ejecución compatibles son SGLang, vLLM, TokenSpeed, Unsloth y Hugging Face Transformers. Poder usar una sola GPU saca a un modelo de 276B de la categoría de «solo para grandes laboratorios»: las startups pueden alquilar una instancia con un B300, y las empresas que ya tienen clústeres de H200 no necesitan nuevas compras. Los sectores regulados (finanzas, sanidad, seguros, telecomunicaciones) obtienen una opción con pesos privados y sin depender de una API externa.

En qué pruebas Inkling-Small superó a Inkling

Inkling-Small superó a su «maestro» en la mayoría de las pruebas clave. En Humanity's Last Exam (versión de texto) obtiene un 31,6% frente al 29,7% de Inkling. En SWE-bench Verified alcanza un 80,2% frente al 77,6% (arnés solo bash). En Toolathlon Verified logra un 54,4% frente al 45,5%. En GPQA Diamond consigue un 89,5%, en AIME 2026 un 95,5% y en ARC-AGI-2 un 40,1% frente al 36,5%. En Terminal-Bench 2.1 obtiene un 64,7%.

Hay dos retrocesos claros: SimpleQA Verified cae al 20,6% desde el 43,9% de Inkling, y Tau 3 Banking, al 15,5% desde el 23,7%. Los resultados multimodales se mantienen cerca de los del maestro: MMMU Pro, 74,0%; VoiceBench, 90,1%; MMAU, 77,0%, según datos de Artificial Analysis, Scale AI y ARC Prize.

«El modelo no supone una ventaja sustancial frente al ecosistema existente de pesos abiertos», resume

Thinking Machines Lab en la ficha de Inkling-Small, y recomienda añadir moderación posterior (por ejemplo, Llama Guard) en las aplicaciones de consumo.

Qué significa

Inkling-Small demuestra que la destilación dirigida con Inkling como maestro, junto con dos semanas de entrenamiento RL en programación agéntica, permite que un modelo compacto supere a su predecesor de mayor tamaño. Los pesos abiertos bajo Apache 2.0 ponen un agente de 276B al alcance del despliegue propio y amplían el círculo de empresas que pueden construir productos sin depender de APIs cerradas.

Preguntas frecuentes

¿Cuánta memoria de vídeo necesita Inkling-Small?

Como mínimo, 180 GB de VRAM en modo cuantizado NVFP4 con una sola tarjeta B300 (SM100+). La precisión completa BF16 requiere 600 GB en total, por ejemplo 4× NVIDIA B300 u 8× NVIDIA H200.

¿En qué es mejor Inkling-Small que el Inkling original?

En seis benchmarks clave: SWE-bench Verified (80,2% vs 77,6%), GPQA Diamond (89,5%), AIME 2026 (95,5%), ARC-AGI-2 (40,1% vs 36,5%), Toolathlon Verified (54,4% vs 45,5%) y HLE (31,6% frente a 29,7%). Queda por detrás en SimpleQA Verified (20,6% vs 43,9%) y Tau 3 Banking (15,5% vs 23,7%).