Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarX: @cheese_cakee_9→ original

O modelo Inkling 2 Mini, com 26 bilhões de parâmetros, comporta um milhão de tokens em 16 GiB em vez de 96

Quando uma rede neural lê um texto longo, ela guarda anotações sobre cada token (um pedaço de palavra) no KV-cache, e com um milhão de tokens esse cache incha para dezenas de gigabytes. No Inkling 2 Mini, com 26 bilhões de parâmetros, ele ocupa ~16 GiB em vez de ~96 no formato fp8. O motivo: das 48 passagens pelas camadas, apenas 8 mantêm o cache completo; as demais olham só para os últimos 1024 tokens. Para rodar em hardware próprio, isso representa uma economia de memória de seis vezes.

Processado por IA de X: @cheese_cakee_9; editado por Hamidun News
O modelo Inkling 2 Mini, com 26 bilhões de parâmetros, comporta um milhão de tokens em 16 GiB em vez de 96
Fonte: X: @cheese_cakee_9. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @cheese_cakee_9 ↗
Editor-chefe
Dado-chave #1Atenção completa em apenas 4 das 24 camadas; as camadas 11 e 17 entram em ciclo de 3 repetições
Dado-chave #2As outras 20 camadas olham apenas para uma janela de 1024 tokens
Dado-chave #3Pontuação de 20,1 no AA Index; o Inkling 2 Small tem 594 bilhões de parâmetros

Imagine pedir a um modelo que analise um repositório inteiro de código ou a troca de mensagens de um ano: isso equivale a cerca de um milhão de tokens (um token é, grosso modo, um pedaço de palavra). Para não reler tudo a cada passo, o modelo guarda anotações auxiliares sobre cada token. Essa memória se chama KV-cache, e é ela que costuma virar o teto do contexto longo: os pesos cabem na memória, mas o cache para um milhão de tokens cresce para dezenas de gigabytes.

A Thinking Machines lançou o Inkling 2 Mini, com 26 bilhões de parâmetros e, segundo a análise da arquitetura publicada no X, seu cache com o milhão completo de tokens ocupa cerca de 16 GiB (gibibyte, quase o mesmo que gigabyte) em vez de aproximadamente 96 GiB, caso cada camada armazenasse tudo. O formato de armazenamento é fp8, ou seja, 8 bits por número. A seguir, a origem da diferença de seis vezes.

Por que surgiu o Mini

A empresa afirma que parte dos usuários achou o Inkling 2 Small grande demais: ele tem 594 bilhões de parâmetros. A resposta é o Inkling 2 Mini, um looped transformer, isto é, um transformer com ciclo. Parte de suas camadas é executada várias vezes, em vez de armazenar cópias separadas dos pesos. No total, são 26 bilhões de parâmetros. A empresa diz que o modelo é pequeno o bastante para rodar em um notebook e serve para tarefas agênticas: sua pontuação no índice da Artificial Analysis (AA Index) é 20,1. Como isso se compara aos concorrentes, a fonte não informa, por isso o número deve ser lido como referência, não como prova de qualidade.

De onde vêm os 16 GiB em vez de 96

A conta é esta. A rede tem 24 camadas. Vinte delas trabalham com uma janela deslizante de 1024 tokens: cada uma olha apenas para os últimos 1024 tokens, de modo que seu cache é minúsculo e não cresce com o contexto. As outras quatro camadas, de números 5, 11, 17 e 23 (contando a partir de zero), usam atenção completa e guardam o milhão de tokens inteiro.

Agora o ciclo. As camadas 11 e 17 estão dentro de um bloco repetido e são executadas três vezes cada uma, enquanto as camadas 5 e 23 são executadas uma vez. Dá 1 + 1 + 3 + 3 = 8 passagens com cache completo. No total são 48 passagens pelas camadas, de modo que o cache completo é necessário em apenas uma de cada seis.

Para essas oito passagens, com fp8, chega-se a cerca de 16 KiB por token (aproximadamente 2 KiB por passagem). Multiplicando pelo milhão de tokens, obtém-se algo na casa de 16 GiB. Se todas as 48 passagens guardassem o cache completo, o total seria de cerca de 96 GiB. É essa diferença que separa "precisa de uma GPU de servidor" de "pode caber na memória de uma estação de trabalho potente".

Vale notar: o ciclo economiza parâmetros, mas não economiza memória da atenção completa. Na análise, cada passagem por uma camada é contada separadamente, por isso as camadas 11 e 17 entram três vezes na conta. A redução vem da combinação: a grande maioria das camadas olha apenas para uma janela estreita.

O que fazer com isso na prática

Primeiro, ao planejar uma execução local, considere não só os pesos, mas também o cache. Os pesos de 26 bilhões de parâmetros em fp8 ocupam algo em torno de 26 GB (esta é nossa estimativa grosseira, a empresa não a divulgou), e o cache com o milhão completo de tokens acrescenta cerca de 16 GiB. Por isso, "roda em um notebook" depende da memória da máquina específica e do tamanho real do contexto: em consultas curtas, o cache será bem menor.

Segundo, o esquema de "atenção completa rara mais muitas camadas locais" parece um recurso de engenharia promissor para contextos longos. O custo é o risco de o modelo captar pior as relações distantes no texto do que uma rede com atenção completa em todas as camadas. A fonte não traz verificações independentes de qualidade com um milhão de tokens: há apenas a afirmação da empresa e uma pontuação no AA Index.

Terceiro, para equipes de produto, isso é um sinal: cenários agênticos com histórico longo de ações, repositórios grandes e logs tornam-se, aos poucos, viáveis em dispositivos locais. Mas, antes de construir um produto sobre o Mini, convém esperar por testes independentes em tarefas longas reais e compará-lo com modelos compactos de outros laboratórios.

História

Perguntas frequentes sobre a notícia

Por que surgiu o Mini?

A empresa afirma que parte dos usuários achou o Inkling 2 Small grande demais: ele tem 594 bilhões de parâmetros. A resposta é o Inkling 2 Mini, um looped transformer, isto é, um transformer com ciclo. Parte de suas camadas é executada várias vezes, em vez de armazenar cópias separadas dos pesos. No total, são 26 bilhões de parâmetros. A empresa diz que o modelo é pequeno o bastante para rodar em um notebook e serve para tarefas agênticas: sua pontuação no índice da Artificial Analysis (AA Index) é 20,1.

O que se sabe sobre De onde vêm os 16 GiB em vez de 96?

A conta é esta. A rede tem 24 camadas. Vinte delas trabalham com uma janela deslizante de 1024 tokens: cada uma olha apenas para os últimos 1024 tokens, de modo que seu cache é minúsculo e não cresce com o contexto. As outras quatro camadas, de números 5, 11, 17 e 23 (contando a partir de zero), usam atenção completa e guardam o milhão de tokens inteiro. Agora o ciclo. As camadas 11 e 17 estão dentro de um bloco repetido e são executadas três vezes cada uma, enquanto as camadas 5 e 23 são executadas uma vez.

O que fazer com isso na prática?

Primeiro, ao planejar uma execução local, considere não só os pesos, mas também o cache. Os pesos de 26 bilhões de parâmetros em fp8 ocupam algo em torno de 26 GB (esta é nossa estimativa grosseira, a empresa não a divulgou), e o cache com o milhão completo de tokens acrescenta cerca de 16 GiB. Por isso, "roda em um notebook" depende da memória da máquina específica e do tamanho real do contexto: em consultas curtas, o cache será bem menor.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…