Thinking Machines lanca o Inkling 2 Small: 594 bilhoes de parametros, mas apenas 17 bilhoes ativos

Se voce ja tentou escolher um modelo para agentes, conhece o dilema: modelos inteligentes sao caros e fechados, enquanto os abertos sao mais baratos, mas menos capazes em tarefas longas e com varias etapas. A Thinking Machines, de Mira Murati, oferece sua propria resposta: o Inkling 2 Small, um modelo multimodal cujos pesos devem ser abertos sob a licenca Apache 2.0 na proxima semana.

O que ha por dentro

O Inkling 2 Small foi construido sobre uma arquitetura esparsa Mixture-of-Experts. A maneira mais simples de imagina-la e como uma grande clinica: ha 384 medicos, ou especialistas, mas apenas os oito mais adequados sao chamados para cada paciente, ou token. O modelo tem 48 camadas de decodificador e um total de 594 bilhoes de parametros. Durante a geracao, apenas 17 bilhoes ficam ativos.

Na pratica, isso significa que a velocidade e o custo de cada token se aproximam dos de um modelo da classe 17B, enquanto os pesos armazenam consideravelmente mais "conhecimento". Mas ha uma ressalva frequentemente esquecida: ainda e preciso manter todos os 594 bilhoes de parametros na memoria. Mesmo em formato de 8 bits, isso representa centenas de gigabytes, portanto o modelo nao rodara em uma unica GPU gamer. Esta e uma solucao para servidores ou clusters com varias GPUs.

Tambem foram anunciados entrada visual, profundidade de raciocinio controlavel e uma janela de contexto de ate 1 milhao de tokens. A profundidade de raciocinio permite escolher deliberadamente por quanto tempo o modelo "pensa": menos para solicitacoes simples e mais para as complexas. E uma alavanca direta para controlar a conta de inferencia.

Foco em agentes

Os autores posicionam o modelo para fluxos de agentes com varias etapas e anunciam tres capacidades. Primeiro, ele pode verificar visualmente o proprio resultado: por exemplo, gerar uma interface, observar uma captura de tela e corrigir o layout. Segundo, adapta-se a diferentes estruturas de agentes, ou harnesses, o que significa que nao exige um prompt e um conjunto de ferramentas perfeitamente ajustados ao modelo. Terceiro, consegue orquestrar seus proprios pipelines de ajuste fino.

O ultimo ponto soa ambicioso, mas deve ser verificado de forma independente. Trata-se de uma afirmacao dos desenvolvedores, sem confirmacao externa no anuncio.

Os numeros sao os seguintes. O modelo obteve 31 pontos no Artificial Analysis Intelligence Index. E um resultado modesto diante dos grandes modelos fechados de ponta e, francamente, nao coloca o modelo na lideranca em inteligencia geral. No DesignArena, porem, um ranking de geracao de frontend e interfaces, ele ocupa o terceiro lugar no mundo, atras apenas de pesos-pesados proprietarios. Para equipes que desenvolvem agentes de UI e geradores de interfaces, essa metrica e mais relevante do que o indice geral.

O que fazer com ele

O Inkling 2 Small ja esta disponivel para inferencia e ajuste fino na plataforma Tinker, servico proprio da Thinking Machines. Os pesos completos serao lancados na proxima semana. A partir dai, sera possivel implantar o modelo em infraestrutura propria ou ajusta-lo com dados proprios sem depender dos termos de uma API: a Apache 2.0 permite uso comercial.

As conclusoes praticas sao:

• Se voce desenvolve agentes para frontend ou design, inclua o modelo em seus benchmarks assim que os pesos forem lancados e compare-o em suas proprias tarefas, nao em rankings publicos.
• Se voce nao tem um cluster, calcule antecipadamente o custo de hospedagem. Os 17 bilhoes de parametros ativos economizam computacao, mas nao memoria.
• Se voce precisa de um agente personalizado para um dominio restrito, a possibilidade de ajuste fino com uma licenca aberta torna o modelo um forte candidato, especialmente se os provedores de inferencia o disponibilizarem rapidamente.

Limitacoes

Por enquanto, tudo se baseia no anuncio do proprio laboratorio. Nao ha medicoes independentes de velocidade, custo ou comportamento em contextos longos, e os 31 pontos no indice indicam que nao se deve esperar milagres no raciocinio geral. Alem disso, os pesos ainda nao foram publicados, portanto a promessa da Apache 2.0 so deve ser considerada cumprida quando os arquivos aparecerem.

Ainda assim, o fato em si e importante: um dos laboratorios mais proeminentes do setor esta entrando no mercado de modelos abertos com um grande MoE multimodal e uma licenca permissiva. O mercado de modelos abertos para agentes ganha, assim, mais um concorrente de peso, o que significa mais opcoes e maior pressao sobre os precos.