Inkling 2 Small: 68 horas de preentrenamiento son solo la primera etapa; después, 9 días de RL en 2048 GPU

Cuando el anuncio de un nuevo modelo dice «8,4 billones de tokens en 68 horas», dan ganas de recalcular de inmediato el presupuesto para entrenar tu propio modelo. No te precipites. La cifra es real, pero corresponde a una sola parte de un gran proceso. Veamos qué hizo exactamente Thinking Machines Lab con Inkling 2 Small y cómo leer este tipo de números.

Qué es el modelo y por qué 68 horas es mucho y poco a la vez

Inkling 2 Small es un modelo de lenguaje multimodal que la compañía presentó el 5 de noviembre de 2026. Tiene 594.000 millones de parámetros en total, pero usa una arquitectura Mixture-of-Experts (MoE): por cada token se activa solo una parte de los «expertos», unos 17.000 millones de parámetros, es decir, aproximadamente el 3 % del modelo. El cómputo por token es el de un modelo de tamaño medio, mientras que la capacidad de conocimiento es la de uno gigantesco.

El preentrenamiento con 8,4 billones de tokens duró 68 horas, menos de tres días. Eso equivale a unos 34 millones de tokens por segundo de media. Este ritmo fue posible gracias a dos factores: los racks NVIDIA GB300 NVL72 y el formato de cuatro bits NVFP4. Menos bits por número significa menos memoria y menos tráfico entre chips, y multiplicaciones de matrices más rápidas. La contrapartida es la precisión, por lo que estos formatos exigen un ajuste cuidadoso del entrenamiento.

Lo que se esconde tras el titular

La principal salvedad del propio anuncio: 68 horas es solo la primera etapa. Después hubo otras tres etapas de entrenamiento con datos adicionales. Qué contenían exactamente esos datos y cuánto duraron no se revela en el fragmento disponible del material, así que no conviene concluir que todo el modelo se «montó en tres días».

Luego vino el aprendizaje por refuerzo (Reinforcement Learning): nueve días en 2048 GPU y más de 17 millones de trayectorias. Una trayectoria es una ejecución completa del modelo: recibe una tarea, actúa y luego se evalúa su resultado. Si se dividen 17 millones entre nueve días, salen al menos 22 trayectorias por segundo de forma continua. En esta etapa el modelo aprende no solo a continuar texto, sino a llevar las tareas hasta un resultado verificable: código, razonamiento, uso de herramientas.

Es el panorama típico del entrenamiento moderno. El preentrenamiento, barato y rápido, aporta la base, mientras que el coste real y la calidad se ganan en las etapas finales, donde los datos son más caros y la señal es más precisa. El comienzo del artículo en Habr termina en la frase «El modelo resultante obtuvo…», así que los resultados finales en benchmarks no aparecen en el fragmento disponible. Contrástalos con la fuente original.

Qué conclusiones sacar

Primero: compara los modelos por el ciclo completo, no por una cifra llamativa. El tiempo de preentrenamiento sin el número de GPU, las etapas y el coste del RL dice poco sobre los gastos.

Segundo: un MoE con una pequeña proporción de parámetros activos es una forma eficaz de obtener un modelo grande sin que el coste de cómputo crezca de forma proporcional. Pero en inferencia los 594.000 millones de parámetros hay que mantenerlos en memoria en algún sitio, así que el ahorro afecta más a los FLOP que al volumen de hardware.

Tercero: el entrenamiento en cuatro bits, a juzgar por este lanzamiento, está saliendo de los laboratorios hacia los pipelines de producción. Si planeas tu propio stack de preentrenamiento o ajuste sobre hardware de clase Blackwell, NVFP4 merece al menos una prueba.

Y por último: el RL con millones de trayectorias requiere infraestructura para generarlas y verificarlas, no solo GPU. Ahí es donde con más frecuencia se atascan los equipos que intentan replicar el resultado.