Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarMarkTechPost→ original

NVIDIA X-Token: destilação que supera o GOLD em 3.82 pontos

A NVIDIA apresentou o X-Token, um método de destilação de conhecimento para modelos de linguagem pequenos. A nova abordagem supera o GOLD em 3.82 pontos na média. Em tarefas de matemática (GSM8k), a precisão subiu de 2.56% para 15.54%, cerca de 6 vezes o resultado inicial.

Processado por IA de MarkTechPost; editado por Hamidun News
NVIDIA X-Token: destilação que supera o GOLD em 3.82 pontos
Fonte: MarkTechPost. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMarkTechPost ↗
Editor-chefe
Em benchmarks geraismelhora média de 3.82 pontos em relação ao GOLD
Em tarefas de matemática (GSM8k)salto de 2.56% para 15.54% de precisão
No teste padrão MMLUaumento de 24.0 para 24.7%

A NVIDIA lançou o X-Token, método para otimizar modelos de linguagem pequenos. O X-Token é uma abordagem de destilação de conhecimento que corrige duas falhas estruturais do método anterior, o GOLD, e mostra melhora significativa em testes padrão.

O que é o X-Token

O X-Token é um método de Projection-Guided Cross-Tokenizer Knowledge Distillation. Em termos simples, é uma forma de transferir conhecimento de um modelo grande para um pequeno levando em conta que os vocabulários de tokens são diferentes (os conjuntos de elementos em que o modelo divide o texto). Modelos pequenos costumam rodar com tokenizadores próprios, o sistema especial de análise de texto, e a destilação anterior ignorava isso. O X-Token resolve esse problema.

O método introduz uma camada intermediária de projeção que traduz as representações entre dois espaços de tokens diferentes. É como um tradutor que atua na base do próprio modelo. Quando o modelo grande passa conhecimento ao pequeno, o X-Token garante que a informação não se perca na tradução de uma forma de codificação para outra.

Resultados que impressionam

No modelo Llama-3.2-1B, o X-Token mostra vantagem consistente:

  • Em benchmarks gerais: melhora média de 3.82 pontos em relação ao GOLD
  • Em tarefas de matemática (GSM8k): salto de 2.56% para 15.54% de precisão
  • No teste padrão MMLU: aumento de 24.0 para 24.7%

Não é um ganho marginal: em matemática, a precisão cresceu 6 vezes. Para um modelo pequeno de 1 bilhão de parâmetros, isso é crítico: cada ponto percentual conta, porque nessa escala até uma pequena melhora de capacidade ajuda a lidar com tarefas mais complexas.

Falhas estruturais do GOLD

O método anterior, o GOLD, ignorava que o tokenizador de um modelo pequeno pode ser bem diferente. Isso gerava dois problemas: primeiro, o conhecimento do modelo grande perdia sentido quando o pequeno o traduzia para o próprio vocabulário; segundo, a destilação não conseguia aproveitar de forma eficaz todas as capacidades do modelo pequeno.

O X-Token incorpora ao processo de destilação uma projeção entre diferentes espaços de tokens. É como uma ponte entre dois sistemas de codificação de informação. Isso importa sobretudo quando o modelo pequeno é otimizado para execução rápida em dispositivos móveis ou edge e tem um tokenizador próprio e único para economizar memória.

O que isso significa

Modelos pequenos são necessários em todo lugar: em celulares, em dispositivos IoT, em servidores locais sem acesso à nuvem ou onde a latência é crítica. O X-Token mostra que é possível pegar o conhecimento de um modelo enorme e "comprimi-lo" de forma eficaz em um formato pequeno, mantendo o vocabulário próprio do modelo.

É um caminho para uma IA que funciona em qualquer lugar, não só em infraestrutura de nuvem. E a melhora de 6 vezes em matemática é um sinal de que os modelos pequenos começam a ganhar capacidades reais para tarefas práticas. A IA local pode se tornar o padrão em breve, e não a exceção.

História

Perguntas frequentes sobre a notícia

O que é o X-Token?

O X-Token é um método de Projection-Guided Cross-Tokenizer Knowledge Distillation. Em termos simples, é uma forma de transferir conhecimento de um modelo grande para um pequeno levando em conta que os vocabulários de tokens são diferentes (os conjuntos de elementos em que o modelo divide o texto). Modelos pequenos costumam rodar com tokenizadores próprios, o sistema especial de análise de texto, e a destilação anterior ignorava isso. O X-Token resolve esse problema.

O que se sabe sobre Resultados que impressionam?

No modelo Llama-3.2-1B, o X-Token mostra vantagem consistente: Em benchmarks gerais: melhora média de 3.82 pontos em relação ao GOLD Em tarefas de matemática (GSM8k): salto de 2.56% para 15.54% de precisão No teste padrão MMLU: aumento de 24.0 para 24.7% Não é um ganho marginal: em matemática, a precisão cresceu 6 vezes. Para um modelo pequeno de 1 bilhão de parâmetros, isso é crítico: cada ponto percentual conta, porque nessa escala até uma pequena melhora de capacidade ajuda a lidar com tarefas mais complexas.

O que se sabe sobre Falhas estruturais do GOLD?

O método anterior, o GOLD, ignorava que o tokenizador de um modelo pequeno pode ser bem diferente. Isso gerava dois problemas: primeiro, o conhecimento do modelo grande perdia sentido quando o pequeno o traduzia para o próprio vocabulário; segundo, a destilação não conseguia aproveitar de forma eficaz todas as capacidades do modelo pequeno. O X-Token incorpora ao processo de destilação uma projeção entre diferentes espaços de tokens. É como uma ponte entre dois sistemas de codificação de informação.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…