Modèle de langage national : ambitions, réalité et prix de la souveraineté

Cela fait des années qu'on parle en Russie de la nécessité d'un grand modèle de langage maison, mais on en est resté jusqu'ici aux déclarations et aux initiatives ponctuelles. Une publication récente sur Habr, signée d'un spécialiste en activité, invite à regarder le problème avec sobriété, sans emphase patriotique ni pessimisme technologique. Le tableau qui se dessine est bien plus complexe que ne le souhaiteraient les fonctionnaires et les stratèges d'entreprise.

La thèse est simple : créer un LLM compétitif à partir de zéro n'est pas un projet, c'est un écosystème. Les trois piliers, talents, matériel, école, semblent une évidence, mais le diable se cache dans les détails de chacun. Commençons par les talents.

Il ne s'agit pas seulement de programmeurs qui maîtrisent Python et connaissent l'architecture transformer. Il faut de grands mathématiciens capables de travailler à la pointe de la théorie de l'optimisation, des spécialistes du calcul distribué et des ingénieurs qui comprennent les subtilités de l'entraînement de modèles de plusieurs centaines de milliards de paramètres. Il n'existe que quelques milliers de personnes de ce profil dans le monde, et la plupart sont concentrées dans les écosystèmes de Google, Meta*, OpenAI et de quelques géants technologiques chinois.

Le marché russe se bat pour ces spécialistes dans des conditions clairement défavorables, et il n'est pas seulement question de salaires, mais aussi d'accès à une infrastructure de calcul de niveau mondial.

Côté matériel, la situation est encore plus tendue. Entraîner des LLM modernes à l'échelle de GPT-4 ou de Claude exige des clusters de milliers d'accélérateurs graphiques de la classe NVIDIA H100 ou équivalents. Les sanctions compliquent considérablement les livraisons légales de puces haut de gamme vers la Russie, et il n'existe pour l'instant aucune alternative nationale de performance comparable. Des projets comme Elbrus et Baikal répondent à d'autres besoins et accusent un retard de puissance de calcul de plusieurs générations, et non de quelques années. L'importation parallèle et les circuits de contournement peuvent couvrir des besoins ponctuels, mais bâtir dessus un entraînement systématique de modèles de rang mondial relève de l'utopie.

L'auteur souligne toutefois à juste titre le facteur le plus sous-estimé : l'existence d'une école. La notion est plus large que la simple expérience accumulée. Une école, c'est une culture de décisions d'ingénierie qui se transmet de projet en projet, d'équipe en équipe.

C'est la mémoire institutionnelle de milliers d'expériences, d'approches ratées et de trouvailles peu évidentes qu'on ne peut pas tirer des articles scientifiques. OpenAI est passée de GPT à GPT-4 en cinq ans d'itérations continues. Google DeepMind a accumulé ses compétences pendant plus d'une décennie.

Vouloir brûler cette étape grâce à une « gestion efficace » et à des injections de budget est une erreur classique, que l'auteur décrit avec délicatesse mais précision en écrivant que « avoir l'envie et l'argent ne mène pas toujours au résultat voulu ».

Il faut comprendre le contexte : la Russie ne part pas de zéro. Yandex dispose de la famille YandexGPT, Sber développe GigaChat, et d'autres initiatives existent. Mais l'écart entre ces produits et les leaders mondiaux reste important, et risque de se creuser plutôt que de se réduire, car le rythme de développement des modèles de pointe n'a fait que s'accélérer ces deux dernières années. La Chine, aux ressources incomparablement plus grandes et dotée de sa propre production de puces, n'est toujours pas parvenue à rattraper nettement les leaders américains, même si elle s'en est sensiblement rapprochée grâce au modèle DeepSeek et à plusieurs autres avancées.

Pour l'industrie, ce débat a une dimension très concrète. Miser sur un développement entièrement souverain, c'est des années d'investissement sans résultat garanti. L'alternative consiste à développer des compétences en fine-tuning et en adaptation de modèles ouverts, comme Llama ou Mistral, aux besoins spécifiques du marché russophone. Cette approche est plus pragmatique, moins chère et donne des résultats plus vite, même si elle ne règle pas le problème de la dépendance stratégique.

Au fond, la question du LLM national n'est pas technique mais politico-économique. L'État est-il prêt à investir non dans des projets vitrines, mais dans une infrastructure fondamentale : éducation, centres de recherche, accès au calcul ? Les entreprises sont-elles prêtes à raisonner à dix ou quinze ans plutôt qu'à l'échelle des bilans trimestriels ? Tant que les réponses à ces questions restent floues, parler d'un modèle de langage souverain de rang mondial relève plus de l'exercice de pensée stratégique que de la feuille de route.

*Meta est reconnue comme organisation extrémiste et interdite en Fédération de Russie.