Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoAnálisis · En radarX: @cheese_cakee_9→ original

El modelo Inkling 2 Mini de 26 000 millones de parámetros cabe un millón de tokens en 16 GiB en lugar de 96

Cuando una red neuronal lee un texto largo, guarda notas sobre cada token (fragmento de palabra) en la caché KV, y con un millón de tokens esta crece hasta decenas de gigabytes. En Inkling 2 Mini, de 26 000 millones de parámetros, ocupa unos 16 GiB frente a unos 96 en formato fp8. La razón: de los 48 pasos por capas, solo 8 mantienen la caché completa; el resto mira únicamente los últimos 1024 tokens. Para ejecutarlo en hardware propio, esto supone un ahorro de memoria de seis veces.

Procesado por IA desde X: @cheese_cakee_9; editado por Hamidun News
El modelo Inkling 2 Mini de 26 000 millones de parámetros cabe un millón de tokens en 16 GiB en lugar de 96
Fuente: X: @cheese_cakee_9. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @cheese_cakee_9 ↗
Editor jefe
Dato clave #1Atención completa solo en 4 de las 24 capas; las capas 11 y 17 se repiten 3 veces en un bucle
Dato clave #2Las otras 20 capas solo miran una ventana de 1024 tokens
Dato clave #3Puntuación de 20,1 en el índice AA Index; Inkling 2 Small tiene 594 000 millones de parámetros

Imagine que pide a un modelo que analice un repositorio entero o una correspondencia de un año: eso son alrededor de un millón de tokens (un token es aproximadamente un fragmento de palabra). Para no volver a leerlo todo en cada paso, el modelo guarda notas auxiliares sobre cada token. Esa memoria se llama caché KV, y suele ser el límite del contexto largo: los pesos caben, pero la caché para un millón de tokens crece hasta decenas de gigabytes.

Thinking Machines ha lanzado Inkling 2 Mini, de 26 000 millones de parámetros, y, según un análisis de su arquitectura publicado en X, su caché con el millón completo de tokens ocupa unos 16 GiB (gibibytes, casi lo mismo que gigabytes) en lugar de unos 96 GiB, que sería lo necesario si cada capa guardara todo. El formato de almacenamiento es fp8, es decir, 8 bits por número. A continuación, de dónde sale la diferencia de seis veces.

Por qué existe Mini

La compañía explica que parte de los usuarios consideró demasiado grande su anterior modelo, Inkling 2 Small, que tiene 594 000 millones de parámetros. La respuesta es Inkling 2 Mini, un transformer en bucle (looped transformer): parte de sus capas se ejecuta varias veces, en lugar de almacenar copias independientes de los pesos. En total tiene 26 000 millones de parámetros.

La compañía afirma que el modelo es lo bastante pequeño para ejecutarse en un portátil y que sirve para tareas agénticas: su puntuación en el índice de Artificial Analysis (AA Index) es de 20,1. El artículo fuente no indica cómo se compara con sus competidores, así que conviene tomar esa cifra como una referencia y no como una prueba de calidad.

De dónde salen los 16 GiB frente a los 96

La aritmética es la siguiente. La red tiene 24 capas. Veinte de ellas trabajan con una ventana deslizante de 1024 tokens: cada una solo mira los últimos 1024 tokens, de modo que su caché es minúscula y no crece con el contexto. Las otras cuatro capas, numeradas 5, 11, 17 y 23 (contando desde cero), usan atención completa y recuerdan el millón de tokens.

Ahora el bucle. Las capas 11 y 17 están dentro de un bloque que se repite y se ejecutan tres veces cada una, mientras que las capas 5 y 23 se ejecutan una sola vez. Eso da 1 + 1 + 3 + 3 = 8 pasos con caché completa. En total hay 48 pasos por capas, así que la caché completa solo se necesita en uno de cada seis.

Para esos ocho pasos, con fp8, sale aproximadamente 16 KiB por token (unos 2 KiB por paso). Multiplicado por un millón de tokens, se obtiene del orden de 16 GiB. Si los 48 pasos guardaran la caché completa, serían unos 96 GiB. Esa es la diferencia entre «necesita un GPU de servidor» y «puede caber en la memoria de una estación de trabajo potente».

Conviene notar que el bucle ahorra parámetros, pero no ahorra memoria para la atención completa. En el análisis, cada paso por una capa se cuenta por separado, por lo que las capas 11 y 17 cuentan tres veces. La caché se reduce gracias a la combinación: la gran mayoría de las capas mira una ventana estrecha.

Qué implica en la práctica

Primero, al planificar una ejecución local, hay que calcular no solo los pesos, sino también la caché. Los pesos de 26 000 millones de parámetros en fp8 ocupan del orden de 26 GB (es nuestra estimación aproximada, la compañía no la publicó), y la caché con el millón completo de tokens añade unos 16 GiB. Por tanto, que «funcione en un portátil» depende de la memoria de cada equipo y de la longitud real del contexto: con consultas cortas, la caché será bastante menor.

Segundo, el esquema de «atención completa poco frecuente más muchas capas locales» parece una técnica de ingeniería viable para contextos largos. El precio es el riesgo de que el modelo capte peor las relaciones lejanas en el texto que una red con atención completa en todas sus capas. El artículo fuente no contiene verificaciones independientes de calidad con un millón de tokens: solo hay una afirmación de la compañía y una puntuación del AA Index.

Tercero, para los equipos de producto, es una señal: los escenarios agénticos con un historial de acciones largo, repositorios grandes y registros se vuelven progresivamente abordables en dispositivos locales. Pero antes de construir un producto sobre Mini, conviene esperar pruebas independientes con tareas largas reales y compararlo con los modelos compactos de otros laboratorios.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué existe Mini?

La compañía explica que parte de los usuarios consideró demasiado grande su anterior modelo, Inkling 2 Small, que tiene 594 000 millones de parámetros. La respuesta es Inkling 2 Mini, un transformer en bucle (looped transformer): parte de sus capas se ejecuta varias veces, en lugar de almacenar copias independientes de los pesos. En total tiene 26 000 millones de parámetros.

¿Qué se sabe sobre De dónde salen los 16 GiB frente a los 96?

La aritmética es la siguiente. La red tiene 24 capas. Veinte de ellas trabajan con una ventana deslizante de 1024 tokens: cada una solo mira los últimos 1024 tokens, de modo que su caché es minúscula y no crece con el contexto. Las otras cuatro capas, numeradas 5, 11, 17 y 23 (contando desde cero), usan atención completa y recuerdan el millón de tokens. Ahora el bucle.

¿Qué se sabe sobre Qué implica en la práctica?

Primero, al planificar una ejecución local, hay que calcular no solo los pesos, sino también la caché. Los pesos de 26 000 millones de parámetros en fp8 ocupan del orden de 26 GB (es nuestra estimación aproximada, la compañía no la publicó), y la caché con el millón completo de tokens añade unos 16 GiB. Por tanto, que «funcione en un portátil» depende de la memoria de cada equipo y de la longitud real del contexto: con consultas cortas, la caché será bastante menor.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…