Une seule RTX 3090 suffit pour le helpdesk IA d'un bureau de 40 personnes et s'amortit en 5 mois

Les modèles cloud sont plus intelligents que les modèles locaux, personne ne le conteste. Mais « plus intelligent » n'est pas la seule métrique. Les abonnements augmentent, les limites du modèle haut de gamme sont épuisées en une demi-heure, et les données partent chez le fournisseur. Pour la comptabilité, les juristes et tout ce qui touche aux données personnelles, c'est une contrainte opérationnelle, pas un risque abstrait. Lors d'une conférence ouverte le 6 novembre, le directeur technique du studio « Flag », Sasha Andreev, a montré à quoi ressemble un calcul lucide : quand une carte graphique dans l'unité centrale suffit, et quand ce n'est pas le cas.

Un agent avec des outils plutôt qu'un « modèle qui sait tout »

Le premier cas est un bureau ordinaire, hors IT, de 40 personnes : 1C, comptabilité, ventes, direction. Le commercial sollicite le comptable, le comptable croule sous les relevés, le directeur veut la liste des débiteurs « à l'instant T ». Chaque tâche est simple, mais ensemble elles créent un bruit permanent.

Andreev propose de ne pas tout apprendre au modèle, mais de lui donner des outils : accès à 1C, à Bitrix24, à l'EDO (échange de documents électroniques) et aux règlements internes. Le modèle ne réinvente pas le paiement d'une facture, il appelle un script d'automatisation ordinaire. Ces scripts sont testés, passent à l'échelle et ne « réfléchissent » pas pour la millième fois avec un risque d'erreur. Le schéma est simple : la demande arrive dans une file d'attente (Bitrix, Planfix, Trello, peu importe), l'agent la prend et l'exécute, le résultat revient à la personne.

La même logique s'applique dans son travail de développement. Un bug ou une demande client arrive dans la file, le Qwen 27B local, en mode agent, va dans git, commit, merge et déploie. Un modèle cloud plus puissant (le plus souvent Codex) vérifie le résultat en tant que relecteur. L'objectif est un travail terminé, pas la victoire du réseau local sur le cloud.

La limite est également claire. Appeler un gestionnaire 1C déjà écrit, le modèle local en est capable. Développer une configuration 1C, non : le contexte des sessions d'agent y est énorme, et le cloud s'en sort nettement mieux.

Le calcul : carte, tokens et quantification

Sur la RTX 3090, Andreev obtient environ 150 tokens par seconde. Dans un bureau de 40 personnes, 2 à 3 requêtes tournent généralement en même temps, les autres sont en file d'attente ou à la cantine. Un dialogue moyen représente environ 20 000 tokens, et avec un accès à 1C, environ 60 000. Le contexte de sa configuration va jusqu'à 262 000 tokens. Pour un helpdesk, c'est suffisant.

Voici l'économie. Une charge d'environ 2000 appels par semaine dans le cloud revient à environ 296 000 roubles par an chez Yandex AI Studio et 267 000 chez Cloud.ru (GigaChat). Andreev a acheté sa 3090 75 000 roubles. Aujourd'hui sur Avito, ces cartes valent environ 120 000 roubles, et à ce prix le retour sur investissement est d'environ cinq mois. Une réserve importante : cela ne concerne que la carte, sans le reste du matériel ni l'électricité, et ce n'est pas le coût total de possession.

Pour qu'un modèle de 27 milliards de paramètres tienne dans 24 Go de mémoire vidéo, on le quantifie. En 16 bits, il pèse environ 54 Go ; au format Q4, seulement environ 13,5 Go. Sur les benchmarks, la perte de qualité est de l'ordre d'un point et demi. Une analogie avec le nombre π : pour les calculs courants, 3,14 suffit, mais arrondir à trois est impossible, la qualité s'effondre. On quantifie aussi le KV-cache, c'est-à-dire le « résumé » du contexte. La vitesse dépend fortement du moteur (llama.cpp, Ollama et noyaux spécialisés), et les benchmarks sont généralement mesurés sur un contexte vide. En conditions réelles, avec une fenêtre pleine, la vitesse est plus faible.

Que faire en pratique

L'ordre conseillé par Andreev : choisir d'abord le modèle, la quantification et les tâches, puis tester le même modèle dans le cloud chez un fournisseur, et seulement ensuite acheter le matériel. La mesure n'est ni le prix du token ni le prix de la carte, mais le coût d'un travail exécuté avec succès. Si la charge est répétitive et que le modèle s'en sort, le matériel en propre est rentabilisé. Sinon, il faut un hybride ou le cloud. Des tokens bon marché avec un résultat bancal finissent par être les plus chers.

Quelques autres enseignements de la conférence :

• Commencez par l'analyse : points de douleur, 3 à 4 cas prioritaires, pilote, mesure de l'effet.
• L'hybride est la variante la plus courante. Le modèle local exécute, le modèle cloud ou un script strict vérifie. Le contrôle humain ne passe pas à l'échelle pour 40 employés, la vérification doit être automatisée.
• Sans socle numérique (CRM, gestionnaire de tâches, wiki, messagerie), les agents n'ont rien à quoi s'accrocher.
• Les poids du modèle ne peuvent pas être « lus », traitez-les donc comme un logiciel tiers et gardez un périmètre de contrôle autour.

Il faut aussi nommer honnêtement les limites. Tous les chiffres se rapportent à une seule configuration et une seule charge, et il s'agit de l'expérience personnelle de l'intervenant, pas d'un benchmark indépendant. Les prix des cartes d'occasion augmentent : à l'été 2025, une 3090 coûtait environ 55 000 roubles. Andreev lui-même dit ne regretter que d'avoir acheté une seule carte, et que le prix de cette voie est de devoir sans cesse se plonger dans les quantifications, les modèles et les moteurs. En revanche, pour la routine répétitive d'un bureau, la carte graphique grand public n'est plus une curiosité, mais un outil de travail.