NVIDIA X-Token: una destilación que supera a GOLD por 3.82 puntos

NVIDIA ha lanzado X-Token, un método para optimizar modelos de lenguaje pequeños. X-Token es un enfoque de destilación de conocimiento que corrige dos defectos estructurales del método anterior, GOLD, y muestra una mejora significativa en pruebas estándar.

Qué es X-Token

X-Token es un método de Projection-Guided Cross-Tokenizer Knowledge Distillation. En pocas palabras, sirve para transferir conocimiento de un modelo grande a uno pequeño teniendo en cuenta que sus vocabularios de tokens son distintos (los conjuntos de elementos en que el modelo divide el texto). Los modelos pequeños suelen usar sus propios tokenizadores, el sistema especial que analiza el texto, y la destilación anterior lo ignoraba. X-Token resuelve ese problema.

El método introduce una capa intermedia de proyección que traduce las representaciones entre dos espacios de tokens diferentes. Funciona como un traductor que opera en los cimientos del propio modelo. Cuando el modelo grande transfiere conocimiento al pequeño, X-Token garantiza que la información no se pierda al pasar de una forma de codificación a otra.

Resultados que impresionan

En el modelo Llama-3.2-1B, X-Token muestra una ventaja constante:

• En benchmarks generales: una mejora media de 3.82 puntos frente a GOLD
• En tareas de matemáticas (GSM8k): un salto de 2.56% a 15.54% de precisión
• En la prueba estándar MMLU: un aumento de 24.0 a 24.7%

No es una ganancia marginal: en matemáticas la precisión creció 6 veces. Para un modelo pequeño de 1000 millones de parámetros, esto es crítico: cada punto porcentual cuenta, porque a esta escala incluso una mejora pequeña de capacidad ayuda a abordar tareas más complejas.

Los fallos estructurales de GOLD

El método anterior, GOLD, ignoraba que el tokenizador de un modelo pequeño puede ser muy distinto. Eso causaba dos problemas: primero, el conocimiento del modelo grande perdía sentido cuando el pequeño lo traducía a su propio vocabulario; segundo, la destilación no podía aprovechar de forma eficaz todas las capacidades del modelo pequeño.

X-Token incorpora al proceso de destilación una proyección entre distintos espacios de tokens. Es como un puente entre dos sistemas de codificación de información. Esto importa sobre todo cuando el modelo pequeño está optimizado para ejecutarse rápido en móviles o dispositivos edge y tiene un tokenizador propio y único para ahorrar memoria.

Qué significa

Los modelos pequeños hacen falta en todas partes: en teléfonos, en dispositivos IoT, en servidores locales donde no hay acceso a la nube o donde la latencia es crítica. X-Token demuestra que se puede tomar el conocimiento de un modelo enorme y «comprimirlo» de forma eficaz en un formato pequeño, conservando el vocabulario propio del modelo.

Es un camino hacia una IA que funciona en cualquier lugar, no solo en infraestructura en la nube. Y la mejora de 6 veces en matemáticas es una señal de que los modelos pequeños empiezan a adquirir capacidades reales para tareas prácticas. La IA local podría convertirse pronto en el estándar, no en la excepción.