Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiHabr AI→ original

Une subvention de Yandex finance un moteur LLM : un modèle de 35B sur RTX 2080 Ti est trois fois plus rapide que llama.cpp

L'auteur a dépensé la subvention Yandex de 600 000 roubles dans TinyCoder, un moteur pour faire tourner des réseaux de neurones à domicile, écrit de zéro en C++ et CUDA. Le modèle Ornith-1.5-35B-A3B pèse 34,4 Go, alors que l'ancienne RTX 2080 Ti n'a que 11 Go : une partie du modèle est donc chargée à la volée pendant le travail. Malgré cela, il produit 53,6 tokens par seconde contre 17,1 pour llama.cpp, soit trois fois plus vite. Sur les gros modèles denses, l'écart disparaît presque, alors testez sur votre propre tâche.

Traité par IA depuis Habr AI ; édité par Hamidun News
Une subvention de Yandex finance un moteur LLM : un modèle de 35B sur RTX 2080 Ti est trois fois plus rapide que llama.cpp
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Qwen2.5-Coder-1.5B lit le prompt à 12 240 tokens/s contre 7 679
Chiffre clé #2Sur 11 Go tiennent un contexte de 196 352 tokens pour un modèle 9B, et 64 256 pour un 27B
Chiffre clé #3La passerelle Go comprend les API OpenAI et Anthropic, elle fonctionne donc avec OpenCode et Cline

Faire tourner de grands réseaux de neurones à domicile n'est pas limité par la puissance de la carte graphique, mais par sa mémoire : la plupart des développeurs disposent d'une carte de 8 à 12 Go, alors que les modèles intéressants pèsent des dizaines de gigaoctets. Un développeur russe a obtenu de Yandex une subvention de 600 000 roubles et l'a investie dans TinyCoder, un moteur pour modèles locaux écrit de zéro en C++ et CUDA. Le résultat tient en un chiffre : le modèle Ornith-1.

5-35B-A3B, de 34,4 Go, tourne sur une RTX 2080 Ti avec 11 Go de mémoire et génère 53,6 tokens par seconde. Un token correspond à peu près à un mot ou à une partie de mot, il s'agit donc de la vitesse d'affichage de la réponse. Dans le même scénario, le moteur populaire llama.

cpp atteint 17,1 tokens par seconde, soit trois fois moins.

D'où vient l'argent et pourquoi un moteur

Au début de 2026, Yandex a lancé des subventions pour des projets open source sur la plateforme SourceCraft. L'auteur y a soumis np, un équivalent C++ de NumPy avec prise en charge de CUDA et des optimisations SIMD manuelles (AVX2, AVX-512, AMX). Selon ses mesures, elle est de 2 à 20 fois plus rapide que l'original et consomme 1,5 fois moins de mémoire. Le projet a figuré parmi les lauréats, et 600 000 roubles ont été versés sur son compte.

Restait à décider de l'usage de cet argent. Réécrire tout NumPy n'avait pas de sens : l'auteur avait déjà résolu la question de l'accélération. Il a choisi un agent de codage IA local, puis s'est concentré sur le moteur qui le fait tourner. Une machine virtuelle cloud avec GPU lui paraissait trop chère ; il a travaillé sur son PC personnel : Intel i7-4790K, 32 Go de DDR3 et une RTX 2080 Ti de 11 Go.

Le code du moteur a été écrit en grande partie par des réseaux de neurones. L'auteur a d'abord utilisé DeepSeek V4, puis DeepSeek V4.1 Flash : selon lui, ils coûtaient moins cher et produisaient un meilleur code que gpt-oss-120b ou Qwen3-235B. Le 11 octobre 2026, SourceCraft est tombé à la suite d'un incident dans un centre de données de Yandex, alors qu'environ 200 000 roubles restaient sur le compte de la subvention. Les modèles cloud de Yandex sont devenus inaccessibles, et il a fallu passer à un fournisseur externe, DeepSeek. Pour un projet d'agent local, c'est un argument de poids : il ne doit pas dépendre de services tiers.

Comment un modèle de 34 Go tient dans 11 Go

tinycoder-inference n'est pas une surcouche de ggml ou de PyTorch. Le seul code externe qu'il utilise est la bibliothèque np et cuBLAS pour les produits matriciels denses. Les noyaux de déquantification, les multiplications de matrices en int8, la flash attention et les échantillonneurs ont été écrits par l'auteur. Le moteur lit directement les formats GGUF (quantifications de Q2_K à Q6_K, série IQ et le ternaire pq2_0) ainsi que EXL3, sans conversion et sans Python à chaque token.

L'astuce principale concerne les modèles Mixture-of-Experts (MoE). Un tel modèle se compose de nombreux « experts », mais seule une petite partie d'entre eux travaille pour chaque token. La partie dense reste donc en mémoire vidéo, tandis que les experts sont chargés en flux à travers une couche d'arène. Imaginez une bibliothèque avec une petite salle de lecture : les livres nécessaires sont posés sur la table, le reste est apporté du magasin sur demande.

Le planificateur de contexte agit lui aussi selon la situation réelle : avant le chargement, il mesure la VRAM et la RAM disponibles et choisit lui-même la précision du cache KV. Sur RTX 2080 Ti, cela permet jusqu'à 196 352 tokens de contexte pour un modèle 9B et jusqu'à 64 256 pour un 27B.

Ce que montrent les mesures et où se situe la limite

Les mesures ont été faites selon le schéma pp512/tg128 : traitement d'un prompt de 512 tokens et génération de 128 tokens, sur trois paires d'exécutions alternées.

  • Qwen2.5-Coder-1.5B q2_k : prompt 12 240 contre 7 679 tokens/s pour llama.cpp, génération 325,9 contre 321,6.
  • Le même au format iq3_xxs : 12 243 contre 10 007, génération 273,8 contre 262,2.
  • Ornith-1.5-35B-A3B en mode hybride : prompt 176,3 contre 132,2, génération 53,6 contre 17,1.
  • Bonsai-27B ternaire : 880,6 contre 878,5 sur le prompt et 51,7 contre 50,4 en génération, soit une quasi-parité.
  • Qwen3.8-27B en EXL3 contre exllamav3 : sur le prompt 727,5 contre 719,5, et en génération légèrement plus lent, 23,60 contre 23,76.

Ces chiffres doivent être lus avec lucidité. Il s'agit des mesures d'un seul auteur, sur une seule carte de la génération Turing. Ampere (RTX 3090) est encore en cours de débogage, et les cartes récentes fonctionnent via un PTX JIT compatible ou un SASS de base. Le gain est nettement visible sur les quantifications légères et le déchargement MoE ; sur les gros modèles denses, le moteur a à peu près rejoint ses concurrents.

Passerelle et perspectives

Pour que le moteur fonctionne avec n'importe quel agent, l'auteur a écrit en Go une passerelle, tinycoder-openai. Elle prend en charge /v1/chat/completions, /v1/responses et l'API Anthropic Messages, ainsi que tool_calls et le streaming SSE. Les modèles se chargent à la première requête et se déchargent de la VRAM après un délai d'attente, et la génération peut être interrompue directement dans la boucle sur les couches. L'exécutable pèse 9 Mo, la bibliothèque native 145 Mo. Les prochains chantiers sont le décodage spéculatif et des noyaux pour les cartes graphiques récentes.

Conclusion pratique : si vous faites tourner des modèles locaux sur une carte grand public, surtout un grand modèle MoE avec peu de VRAM, testez votre scénario sur TinyCoder et comparez avec llama.cpp. Le projet est jeune, mais les résultats sur du matériel ancien montrent qu'il reste une marge de gain en vitesse.

Dossier

Questions clés sur cet article

Que sait-on sur D'où vient l'argent et pourquoi un moteur ?

Au début de 2026, Yandex a lancé des subventions pour des projets open source sur la plateforme SourceCraft. L'auteur y a soumis np, un équivalent C++ de NumPy avec prise en charge de CUDA et des optimisations SIMD manuelles (AVX2, AVX-512, AMX). Selon ses mesures, elle est de 2 à 20 fois plus rapide que l'original et consomme 1,5 fois moins de mémoire. Le projet a figuré parmi les lauréats, et 600 000 roubles ont été versés sur son compte. Restait à décider de l'usage de cet argent.

Comment un modèle de 34 Go tient dans 11 Go?

tinycoder-inference n'est pas une surcouche de ggml ou de PyTorch. Le seul code externe qu'il utilise est la bibliothèque np et cuBLAS pour les produits matriciels denses. Les noyaux de déquantification, les multiplications de matrices en int8, la flash attention et les échantillonneurs ont été écrits par l'auteur. Le moteur lit directement les formats GGUF (quantifications de Q2_K à Q6_K, série IQ et le ternaire pq2_0) ainsi que EXL3, sans conversion et sans Python à chaque token.

Que sait-on sur Ce que montrent les mesures et où se situe la limite ?

Les mesures ont été faites selon le schéma pp512/tg128 : traitement d'un prompt de 512 tokens et génération de 128 tokens, sur trois paires d'exécutions alternées. Qwen2.5-Coder-1.5B q2_k : prompt 12 240 contre 7 679 tokens/s pour llama.cpp, génération 325,9 contre 321,6. Le même au format iq3_xxs : 12 243 contre 10 007, génération 273,8 contre 262,2. Ornith-1.5-35B-A3B en mode hybride : prompt 176,3 contre 132,2, génération 53,6 contre 17,1.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…