Les LLM locaux traduisent des textes jusqu’à 115 tokens par seconde

La traduction locale ne ressemble plus à une expérimentation réservée aux personnes disposant d’une baie de serveurs à domicile. Sur une station de travail ordinaire équipée d’une RTX 5060 Ti de 16 Go, il est possible d’obtenir soit une traduction rapide de pages web, soit une traduction de livres plus lente, mais sensiblement plus soignée. L’auteur du test n’a toutefois trouvé aucun modèle unique adapté à ces deux usages.

L’évaluation portait sur des textes en anglais, espagnol, chinois et hébreu : actualités, documentation technique, discussions issues des réseaux sociaux, prose contemporaine et traités anciens. Tous les contenus ont été traduits vers le russe. La qualité a été évaluée par des modèles-juges de Claude et d’OpenAI, tandis que les versions de référence ont été préparées avec Claude. Les chiffres servent donc avant tout à comparer les participants au sein de ce test, et non à mesurer de manière absolue leur maîtrise littéraire.

La traduction rapide tient dans 16 Go

Le résultat le plus pratique a été obtenu par Gemma 4 26B-A4B dans sa version QAT Q4_0. Le modèle tient entièrement dans la mémoire vidéo de la RTX 5060 Ti et produit environ 115 tokens par seconde. Sur les textes contemporains et les pages web, ses scores se situaient approximativement entre 80 et 88 sur 100.

En pratique, cela permet de traduire une page de documentation ou une longue publication presque au rythme de la lecture. Le modèle n’est pas le meilleur dans toutes les catégories, mais sa latence n’est pas gênante et son lancement ne nécessite pas de décharger une partie des couches vers la mémoire vive. Pour un traducteur intégré au navigateur, ces avantages comptent davantage que quelques points de qualité supplémentaires.

La situation change avec les textes anciens. Le modèle a obtenu 49 points en hébreu classique et 54 en chinois classique. Autrement dit, ce profil rapide convient au langage courant, mais son utilisation devient risquée lorsque le sens dépend de l’époque, d’expressions figées et du contexte culturel.

La qualité exige de la mémoire vive

Qwen3.8 Flash-Next a pris la tête, ou figuré parmi les meilleurs, dans presque toutes les grandes catégories : 87,6 points en anglais, 92 en espagnol, 88 en chinois et 90 en hébreu. La version quantifiée en IQ4_XS fonctionnait à environ 15 tokens par seconde, contre environ 21 tokens par seconde pour la version IQ3_XXS, plus compacte.

Le prix à payer est de 80–95 Go de mémoire système, en plus du GPU. Le modèle repose sur une architecture clairsemée : seule une partie des paramètres est active pour chaque token. Il conserve donc une vitesse acceptable même lorsqu’une part importante de ses poids est placée en RAM. Mais cette configuration devient peu pratique sur un ordinateur typique doté de 32 Go.

Pour la prose littéraire, le modèle dense Gemma 4 31B a livré les meilleurs résultats. Il a obtenu 85 points sur les textes littéraires anglais et espagnols, et écrivait particulièrement bien en russe. De plus, son utilisation comme éditeur distinct a amélioré de 5–14 points les scores de premiers jets médiocres. En contrepartie, sa vitesse n’est que d’environ 6–7 tokens par seconde, et le traitement des textes complexes prend sensiblement plus de temps.

Comment choisir un modèle pour un produit

Pour intégrer la traduction de sites web, il est raisonnable de commencer par Gemma 4 26B-A4B : elle est rapide, tient sur une seule carte graphique et offre une qualité suffisante pour les actualités, la documentation et les discussions. Si les traductions sont lancées par lots pendant la nuit et que la machine dispose de 96 Go de RAM, Qwen3.8 Flash-Next fournit une qualité plus homogène entre les différentes langues.

Pour les livres, mieux vaut procéder en deux passes : produire d’abord un premier jet avec un modèle rapide ou un puissant modèle généraliste, puis le confier à Gemma 4 31B pour une révision littéraire. Même ce processus ne remplace toutefois pas l’intervention humaine pour la poésie, les textes historiques, le droit et la médecine.

La principale limite du benchmark réside dans l’évaluation automatique réalisée par des modèles cloud apparentés. Ceux-ci peuvent privilégier un style familier et ne détectent pas toujours une erreur factuelle habilement dissimulée derrière un russe de qualité. Avant tout déploiement, il convient de constituer un jeu de données à partir de documents réels du produit et de confier au moins une partie des traductions à des locuteurs natifs. La conclusion technique essentielle est néanmoins déjà claire : la traduction locale sur une carte graphique grand public est devenue un outil opérationnel, à condition de déterminer à l’avance la priorité entre latence, qualité et indépendance vis-à-vis du cloud.