Votre propre LLM dans le cloud : tenir dans 16 Go de VRAM

Les factures d'API de modèles de langage deviennent l'un des postes de dépense les plus imprévisibles pour les équipes tech. Un auteur de Habr a publié la première partie d'un guide pratique qui propose une solution radicale : déployer un LLM complet dans le cloud avec seulement 16 gigaoctets de mémoire vidéo. Ce n'est pas un exercice académique, mais une configuration fonctionnelle, avec prise en charge des outils, appel de fonctions et intégration aux serveurs MCP.

Pour comprendre pourquoi le sujet fait autant écho, il suffit de regarder l'évolution des agents IA depuis un an. Claude, ChatGPT, DeepSeek et leurs équivalents ont cessé depuis longtemps d'être de simples chatbots. Avant de livrer sa réponse finale, un agent moderne peut dépenser des dizaines de milliers de tokens en raisonnement interne, appeler des API externes, exécuter du code, analyser des fichiers et même interagir directement avec le système d'exploitation. Chaque action consomme des tokens, et les tokens, c'est de l'argent. Avec plusieurs agents en parallèle, des tâches en arrière-plan et des outils maison, la facture mensuelle d'API peut être multipliée en une seule semaine d'usage intensif.

C'est cette douleur qui a poussé la communauté à chercher des alternatives. L'idée d'un LLM auto-hébergé n'est pas neuve, mais elle restait jusqu'à récemment l'apanage d'passionnés disposant de matériel sérieux. La situation a changé grâce à plusieurs évolutions parallèles : la quantification des modèles est devenue bien plus efficace, des environnements d'exécution optimisés comme llama.cpp et vLLM sont apparus, et les modèles open source se sont rapprochés des modèles commerciaux sur toute une série de tâches. Résultat : ce qui exigeait il y a un an et demi un cluster de GPU peut aujourd'hui tourner sur une seule carte de 16 Go, de la classe d'une NVIDIA T4 ou d'une RTX 4060 Ti.

La différence essentielle avec les expériences habituelles de modèles locaux tient à l'accent mis sur la préparation à la production. L'auteur ne se contente pas de lancer un modèle pour générer du texte : il construit un service d'API complet, compatible avec l'écosystème d'outils auquel les développeurs sont habitués. La prise en charge du function calling signifie que le modèle peut appeler des fonctions externes via un schéma structuré, exactement comme le font Claude ou GPT-4 via leurs API.

L'intégration aux serveurs MCP, le protocole présenté par Anthropic pour standardiser l'interaction des modèles avec les outils externes, ajoute un niveau de compatibilité. En pratique, un modèle auto-hébergé devient un remplaçant direct de l'API commerciale pour une certaine catégorie de tâches.

L'approche a bien sûr ses limites, et il serait naïf d'attendre d'un modèle de 7 à 13 milliards de paramètres, compressé par quantification pour tenir dans 16 Go, qu'il égale Claude 3.5 Sonnet ou GPT-4o. Pour les tâches complexes qui demandent un raisonnement approfondi, une planification en plusieurs étapes ou un contexte étendu, les modèles commerciaux restent hors de portée. Mais une bonne part des charges de production est routinière : classification, extraction de données, mise en forme, génération de texte simple, routage des requêtes entre agents. Pour celles-ci, un modèle local peut se révéler non seulement suffisant, mais optimal en rapport qualité-prix.

Cette tendance s'inscrit dans un tableau plus large que les analystes appellent « inférence hybride ». Plutôt que d'envoyer toutes les requêtes à un seul fournisseur, les équipes bâtissent des architectures à plusieurs niveaux : un modèle local ou auto-hébergé traite les tâches simples, tandis que les tâches complexes partent vers des systèmes plus puissants dans le cloud. Cette approche réduit les coûts, mais répond aussi aux enjeux de confidentialité des données et diminue la dépendance aux fournisseurs externes. Les protocoles standardisés comme MCP rendent cette architecture de plus en plus réaliste : les modèles de provenances diverses commencent à parler le même langage.

La publication sur Habr est la première partie d'une série, et l'auteur promet une suite avec des scénarios plus avancés. Mais le simple fait qu'on puisse déjà déployer un LLM fonctionnel avec prise en charge des outils sur un GPU de quelques centaines de dollars en dit long. L'infrastructure d'inférence IA locale mûrit au point que non seulement les chercheurs, mais aussi de simples équipes produit peuvent l'utiliser. Le monopole des fournisseurs d'API cloud sur le marché de l'inférence va donc s'éroder peu à peu, et c'est sans doute l'une des tendances les plus saines de l'industrie en ce moment.