NVIDIA X-Token : une distillation qui bat GOLD de 3.82 points

NVIDIA a lancé X-Token, une méthode pour optimiser les petits modèles de langage. X-Token est une approche de distillation de connaissances qui corrige deux défauts structurels de la méthode précédente, GOLD, et affiche une amélioration significative sur des tests standard.

Qu'est-ce que X-Token

X-Token est une méthode de Projection-Guided Cross-Tokenizer Knowledge Distillation. En clair, il s'agit de transmettre les connaissances d'un grand modèle à un petit en tenant compte de leurs vocabulaires de tokens différents (les ensembles d'éléments en lesquels le modèle découpe le texte). Les petits modèles tournent souvent sur leurs propres tokenizers, le système spécial d'analyse du texte, et la distillation précédente l'ignorait. X-Token résout ce problème.

La méthode introduit une couche intermédiaire de projection qui traduit les représentations entre deux espaces de tokens différents. C'est comme un traducteur qui travaille au niveau même des fondations du modèle. Lorsque le grand modèle transmet ses connaissances au petit, X-Token garantit que l'information ne se perd pas dans la traduction d'un mode d'encodage à l'autre.

Des résultats impressionnants

Sur le modèle Llama-3.2-1B, X-Token affiche une supériorité constante :

• Sur les benchmarks généraux : une amélioration moyenne de 3.82 points par rapport à GOLD
• Sur les tâches de mathématiques (GSM8k) : un bond de 2.56 % à 15.54 % de précision
• Sur le test standard MMLU : une hausse de 24.0 à 24.7 %

Ce n'est pas un gain marginal : en mathématiques, la précision a été multipliée par 6. Pour un petit modèle d'un milliard de paramètres, c'est crucial : chaque point compte, car à cette échelle, même une légère amélioration des capacités aide à traiter des tâches plus complexes.

Les défauts structurels de GOLD

La méthode précédente, GOLD, ignorait que le tokenizer d'un petit modèle peut être très différent. Cela posait deux problèmes : d'abord, les connaissances du grand modèle perdaient leur sens lorsque le petit les traduisait dans son propre vocabulaire ; ensuite, la distillation ne pouvait pas exploiter efficacement toutes les capacités du petit modèle.

X-Token intègre au processus de distillation une projection entre différents espaces de tokens. C'est un pont entre deux systèmes d'encodage de l'information. Cela compte surtout lorsque le petit modèle est conçu pour s'exécuter rapidement sur mobile ou sur des appareils edge et possède son propre tokenizer, unique, pour économiser la mémoire.

Ce que cela signifie

Les petits modèles sont nécessaires partout : sur les téléphones, dans les objets IoT, sur les serveurs locaux sans accès au cloud ou lorsque la latence est critique. X-Token montre qu'il est possible de prendre les connaissances d'un modèle gigantesque et de les « compresser » efficacement dans un format réduit, en conservant le vocabulaire propre du petit modèle.

C'est une voie vers une IA qui fonctionne partout, et pas seulement sur le cloud. Et l'amélioration d'un facteur 6 en mathématiques est le signe que les petits modèles commencent à acquérir de vraies capacités pour des tâches pratiques. L'IA locale pourrait bientôt devenir la norme plutôt que l'exception.