Thinking Machines lanza Inkling 2 Small: 594.000 millones de parametros, pero solo 17.000 millones activos

Si alguna vez ha intentado elegir un modelo para agentes, conocera el dilema: los modelos capaces son caros y cerrados, mientras que los abiertos son mas baratos, pero rinden peor en tareas largas y de multiples pasos. Thinking Machines, la empresa de Mira Murati, propone su propia respuesta: Inkling 2 Small, un modelo multimodal cuyos pesos se publicarian bajo la licencia Apache 2.0 la proxima semana.

Que hay dentro

Inkling 2 Small utiliza una arquitectura dispersa Mixture-of-Experts. La forma mas sencilla de imaginarla es como una gran clinica: hay 384 medicos, o expertos, pero para cada paciente, o token, solo se llama a los ocho mas adecuados. El modelo tiene 48 capas de decodificador y un total de 594.000 millones de parametros. Durante la generacion, solo 17.000 millones permanecen activos.

En la practica, esto significa que la velocidad y el coste de cada token se acercan a los de un modelo de la clase 17B, mientras que los pesos almacenan bastante mas "conocimiento". Pero existe un matiz que suele olvidarse: aun hay que mantener en memoria los 594.000 millones de parametros. Incluso con una representacion de 8 bits, son cientos de gigabytes, por lo que el modelo no puede ejecutarse en una sola GPU para videojuegos. Es una propuesta para servidores o clusters con multiples GPU.

Tambien se anuncian entrada visual, profundidad de razonamiento configurable y una ventana de contexto de hasta 1 millon de tokens. La profundidad de razonamiento permite elegir deliberadamente cuanto "piensa" el modelo: menos para consultas sencillas y mas para las complejas. Es una palanca directa para controlar la factura de inferencia.

Enfoque en los agentes

Los autores posicionan el modelo para escenarios de agentes con multiples pasos y anuncian tres capacidades. En primer lugar, puede comprobar visualmente su propio resultado: por ejemplo, generar una interfaz, observar una captura de pantalla y corregir la maquetacion. En segundo lugar, se adapta a distintos entornos de agentes, o harnesses, de modo que no necesita un prompt y un conjunto de herramientas perfectamente ajustados al modelo. En tercer lugar, puede orquestar sus propios pipelines de ajuste fino.

El ultimo punto suena ambicioso, pero conviene verificarlo de forma independiente. Es una afirmacion de los desarrolladores y el anuncio no incluye confirmaciones externas.

Estas son las cifras. El modelo obtuvo 31 puntos en el Artificial Analysis Intelligence Index. Es un resultado modesto frente a los grandes modelos insignia cerrados y, siendo francos, no convierte al modelo en lider de inteligencia general. Sin embargo, ocupa el tercer puesto mundial en DesignArena, una clasificacion de generacion de frontend e interfaces, solo por detras de pesos pesados propietarios. Para los equipos que desarrollan agentes de UI y generadores de interfaces, esta metrica resulta mas interesante que el indice general.

Que hacer con el modelo

Inkling 2 Small ya esta disponible para inferencia y ajuste fino en Tinker, el servicio propio de Thinking Machines. Los pesos completos se publicaran la proxima semana. A partir de entonces, sera posible desplegar el modelo en infraestructura propia o ajustarlo con datos propios sin depender de las condiciones de una API: Apache 2.0 permite el uso comercial.

Las conclusiones practicas son las siguientes:

• Si desarrolla agentes para frontend o diseno, anada el modelo a sus benchmarks en cuanto se publiquen los pesos y comparelo en sus propias tareas, no en clasificaciones publicas.
• Si no dispone de un cluster, calcule de antemano el coste de alojamiento. Los 17.000 millones de parametros activos reducen el computo, pero no la memoria necesaria.
• Si necesita un agente personalizado para un campo especializado, la posibilidad de hacer ajuste fino con una licencia abierta convierte al modelo en un candidato solido, especialmente si los proveedores de inferencia lo incorporan rapidamente.

Limitaciones

Por ahora, todo se basa en el anuncio del propio laboratorio. No existen mediciones independientes de velocidad, coste ni comportamiento con contextos largos, y los 31 puntos del indice indican que no conviene esperar milagros en razonamiento general. Ademas, los pesos todavia no se han publicado, por lo que la promesa de Apache 2.0 solo deberia considerarse cumplida cuando aparezcan los archivos.

Aun asi, el hecho en si es importante: uno de los laboratorios mas destacados del sector entra en el mercado de modelos abiertos con un gran MoE multimodal y una licencia permisiva. El mercado de modelos abiertos para agentes gana asi otro competidor serio, lo que significa mas opciones y una mayor presion sobre los precios.