T-Bank remplace un essaim de LLM par un seul modèle 32B et rend les requêtes 2,8–3,9 fois moins chères

Les grandes entreprises qui ne peuvent pas envoyer leurs données vers des clouds externes se heurtent à une arithmétique simple : chaque réseau de neurones étroit dédié à une tâche mobilise des GPU rares. Les chercheurs de T-Bank proposent deux moyens de réduire cette facture et les ont décrits à EMNLP 2026, conférence de rang A*, à Budapest. Un seul modèle de 32 milliards de paramètres a pris en charge les requêtes de plus de 200 services internes de la banque et la moitié du trafic de sa plateforme LLM. Le traitement coûte 2,8–3,9 fois moins cher qu'avec Qwen3-235B, et l'économie a atteint un facteur 9 pour certains services.

Un seul généraliste plutôt qu'un essaim de spécialistes

Dans un périmètre sécurisé, le tableau est typique : un modèle pour suivre les instructions, un autre pour l'appel de fonctions, un troisième pour les scénarios d'entreprise. Chacun doit être gardé en mémoire, mis à l'échelle et mis à jour. L'équipe de T-Bank a choisi une autre voie et décrit pour la première fois une méthodologie reproductible de post-entraînement de LLM russophones dotés de compétences d'agent.

Le schéma comporte trois étapes. Qwen3-32B est d'abord affiné sur un mélange de données d'entreprise et de données ouvertes. L'équipe applique ensuite un apprentissage par renforcement dans trois directions : suivi des instructions, appel de fonctions et tâches d'entreprise. Elle obtient ainsi des variantes spécialisées, qu'elle fusionne en un seul modèle par SLERP, c'est-à-dire par interpolation sphérique des poids. Cette fusion permet de ne pas faire tourner trois réseaux distincts à l'inférence, mais d'en garder un seul.

Le modèle compact devance le géant

La comparaison porte sur Qwen3-235B, environ sept fois plus lourd. Pour une banque, le prix n'est pas le seul critère : la qualité sur ses propres tâches compte aussi, et sur ce point le modèle 32B arrive en tête.

• Tests d'entreprise : 69,6 points contre 65,8 pour Qwen3-235B.
• Suivi des instructions : 0,85 contre 0,83.
• Appel de fonctions : 0,79 contre 0,77.
• Coût de traitement des requêtes : 2,8–3,9 fois plus bas, jusqu'à 9 fois pour certains services.
• Charge : plus de 200 services internes et environ la moitié du trafic de la plateforme LLM de la banque.

L'écart sur les métriques est faible, mais la tendance compte. Un modèle taillé pour un environnement précis ne cède rien au géant généraliste sur les tâches de cet environnement, tout en consommant nettement moins de matériel.

Analyse de PDF sur une seule H100

Le second travail porte sur la numérisation de documents papier. Les chercheurs ont construit un pipeline de sélection d'exemples PDF difficiles et, sur cette base, entraîné un modèle vision-langage reposant sur Qwen3.5-35B-A3B-Base. Il extrait n'importe quelles coordonnées et sommes à partir d'une requête textuelle : inutile d'écrire un gabarit distinct pour chaque type de document.

L'architecture joue ici sur l'économie. Le modèle compte 35 milliards de paramètres au total, mais seuls 3 milliards sont activés par requête. Une seule Nvidia H100 suffit pour le faire tourner. L'analyse de documents coûte 80 % de moins que le traitement entièrement manuel et 50 % de moins que les meilleures alternatives ouvertes.

Le choix des données mérite l'attention. La contribution clé tient à la sélection d'exemples difficiles, et non à l'accumulation de scans : le modèle s'entraîne sur les cas où les solutions standard se trompent.

Ce que vous pouvez reprendre dans votre stack

Les chercheurs ont publié la méthodologie de création de tests internes, la description du pipeline de post-entraînement et un modèle de langage à poids ouverts entraîné sur des données publiques. Il est disponible sur Hugging Face (t-tech/T-pro-it-2.1). Les données d'entreprise de la banque restent en interne, mais la recette peut être reproduite avec les siennes.

Plusieurs enseignements se dégagent pour les équipes en environnement fermé. Si vous avez déjà plusieurs modèles étroits construits sur la même base, il est logique de tester la fusion par SLERP après le RL : elle permet de réduire le parc d'instances sans perte de qualité sur les tâches clés. Il faut créer des benchmarks internes avant la migration, car c'est sur eux que le modèle 32B a montré son avantage sur le 235B. Pour le traitement de documents, l'association d'un MoE à faible nombre de paramètres actifs et d'une seule H100 signifie que la tâche ne nécessite plus un cluster dédié et tient sur une seule carte.

Pour l'instant, ces résultats viennent d'une seule banque, sur sa propre charge, et leur transposition à d'autres secteurs exigera des mesures spécifiques. Mais les chiffres d'économie et les matériaux ouverts rendent ce travail utile à quiconque calcule le coût du token dans une infrastructure fermée.