NVIDIA X-Token: destilação que supera o GOLD em 3.82 pontos
A NVIDIA apresentou o X-Token, um método de destilação de conhecimento para modelos de linguagem pequenos. A nova abordagem supera o GOLD em 3.82 pontos na média. Em tarefas de matemática (GSM8k), a precisão subiu de 2.56% para 15.54%, cerca de 6 vezes o resultado inicial.
Processado por IA de MarkTechPost; editado por Hamidun News
A NVIDIA lançou o X-Token, método para otimizar modelos de linguagem pequenos. O X-Token é uma abordagem de destilação de conhecimento que corrige duas falhas estruturais do método anterior, o GOLD, e mostra melhora significativa em testes padrão.
O que é o X-Token
O X-Token é um método de Projection-Guided Cross-Tokenizer Knowledge Distillation. Em termos simples, é uma forma de transferir conhecimento de um modelo grande para um pequeno levando em conta que os vocabulários de tokens são diferentes (os conjuntos de elementos em que o modelo divide o texto). Modelos pequenos costumam rodar com tokenizadores próprios, o sistema especial de análise de texto, e a destilação anterior ignorava isso. O X-Token resolve esse problema.
O método introduz uma camada intermediária de projeção que traduz as representações entre dois espaços de tokens diferentes. É como um tradutor que atua na base do próprio modelo. Quando o modelo grande passa conhecimento ao pequeno, o X-Token garante que a informação não se perca na tradução de uma forma de codificação para outra.
Resultados que impressionam
No modelo Llama-3.2-1B, o X-Token mostra vantagem consistente:
- Em benchmarks gerais: melhora média de 3.82 pontos em relação ao GOLD
- Em tarefas de matemática (GSM8k): salto de 2.56% para 15.54% de precisão
- No teste padrão MMLU: aumento de 24.0 para 24.7%
Não é um ganho marginal: em matemática, a precisão cresceu 6 vezes. Para um modelo pequeno de 1 bilhão de parâmetros, isso é crítico: cada ponto percentual conta, porque nessa escala até uma pequena melhora de capacidade ajuda a lidar com tarefas mais complexas.
Falhas estruturais do GOLD
O método anterior, o GOLD, ignorava que o tokenizador de um modelo pequeno pode ser bem diferente. Isso gerava dois problemas: primeiro, o conhecimento do modelo grande perdia sentido quando o pequeno o traduzia para o próprio vocabulário; segundo, a destilação não conseguia aproveitar de forma eficaz todas as capacidades do modelo pequeno.
O X-Token incorpora ao processo de destilação uma projeção entre diferentes espaços de tokens. É como uma ponte entre dois sistemas de codificação de informação. Isso importa sobretudo quando o modelo pequeno é otimizado para execução rápida em dispositivos móveis ou edge e tem um tokenizador próprio e único para economizar memória.
O que isso significa
Modelos pequenos são necessários em todo lugar: em celulares, em dispositivos IoT, em servidores locais sem acesso à nuvem ou onde a latência é crítica. O X-Token mostra que é possível pegar o conhecimento de um modelo enorme e "comprimi-lo" de forma eficaz em um formato pequeno, mantendo o vocabulário próprio do modelo.
É um caminho para uma IA que funciona em qualquer lugar, não só em infraestrutura de nuvem. E a melhora de 6 vezes em matemática é um sinal de que os modelos pequenos começam a ganhar capacidades reais para tarefas práticas. A IA local pode se tornar o padrão em breve, e não a exceção.
- 22 de nov. de 2026Wells Fargo e mais 4 bancos dos EUA deixaram de responsabilizar-se por erros de agentes de IA dos clientes
- 22 de nov. de 2026Grant do Yandex foi para um motor de LLM: modelo de 35B na RTX 2080 Ti é três vezes mais rápido que o llama.cpp
- 22 de nov. de 2026Analistas fizeram as contas: em 2028, 87% da energia da Anthropic virá do gás e 11% do carvão
- 22 de nov. de 2026AWS Quick ganhou conector para o Meta Ads: campanhas e relatórios por comando de texto
Perguntas frequentes sobre a notícia
O que é o X-Token?
O X-Token é um método de Projection-Guided Cross-Tokenizer Knowledge Distillation. Em termos simples, é uma forma de transferir conhecimento de um modelo grande para um pequeno levando em conta que os vocabulários de tokens são diferentes (os conjuntos de elementos em que o modelo divide o texto). Modelos pequenos costumam rodar com tokenizadores próprios, o sistema especial de análise de texto, e a destilação anterior ignorava isso. O X-Token resolve esse problema.
O que se sabe sobre Resultados que impressionam?
No modelo Llama-3.2-1B, o X-Token mostra vantagem consistente: Em benchmarks gerais: melhora média de 3.82 pontos em relação ao GOLD Em tarefas de matemática (GSM8k): salto de 2.56% para 15.54% de precisão No teste padrão MMLU: aumento de 24.0 para 24.7% Não é um ganho marginal: em matemática, a precisão cresceu 6 vezes. Para um modelo pequeno de 1 bilhão de parâmetros, isso é crítico: cada ponto percentual conta, porque nessa escala até uma pequena melhora de capacidade ajuda a lidar com tarefas mais complexas.
O que se sabe sobre Falhas estruturais do GOLD?
O método anterior, o GOLD, ignorava que o tokenizador de um modelo pequeno pode ser bem diferente. Isso gerava dois problemas: primeiro, o conhecimento do modelo grande perdia sentido quando o pequeno o traduzia para o próprio vocabulário; segundo, a destilação não conseguia aproveitar de forma eficaz todas as capacidades do modelo pequeno. O X-Token incorpora ao processo de destilação uma projeção entre diferentes espaços de tokens. É como uma ponte entre dois sistemas de codificação de informação.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.