Ollama et LiteLLM : Habr a montré comment exécuter un chat LLM local en Python sans cloud

Sur Habr, un guide introductif détaillé pour le développement local de LLM en Python a été publié. L'auteur suggère de commencer non par des API cloud, mais par la combinaison Ollama et LiteLLM : installez un modèle sur votre propre ordinateur, configurez l'environnement et obtenez votre première réponse directement depuis main.py.

Pourquoi en local

La plupart des matériaux d'introduction sur les LLM dirigent le débutant vers le cloud dès la première étape : inscrivez-vous, obtenez une clé API, attachez une carte de crédit, surveillez les limites. Pour un développeur qui veut simplement comprendre la mécanique de base, c'est du bruit inutile. Le nouveau guide propose un parcours différent : configurez d'abord tout localement pour que vous puissiez voir la logique du modèle sans facturation, services externes et peur de dépenser de l'argent accidentellement pour les tests.

Cette approche est également meilleure car elle rend tout le flux de demande transparent. Dans l'article, ils décomposent littéralement la chaîne maillon par maillon : le code Python envoie un message à LiteLLM, qui le transmet à Ollama, et Ollama communique avec le modèle local et retourne la réponse au programme. Cette analyse est utile non seulement pour les débutants.

Elle aide à trouver rapidement où chercher un problème si le modèle ne répond pas, le service n'est pas lancé ou le code pointe vers la mauvaise adresse.

«

Ce n'est pas de la « magie de l'IA », mais un flux logiciel ordinaire. »

Qu'y a-t-il dans la pile

L'auteur divise immédiatement les rôles des outils, car ils sont faciles à confondre. Ollama est responsable de l'exécution du modèle local et de l'accès à celui-ci via un serveur local. LiteLLM est une bibliothèque Python avec une interface unifiée pour appeler les modèles. Grâce à cela, le code qui fonctionne aujourd'hui avec un modèle local peut ensuite être transféré relativement facilement vers un fournisseur cloud sans réécrire l'application à partir de zéro. Pour une première introduction, c'est un compromis pratique entre simplicité et perspective d'avenir.

La première partie de la série est structurée comme un parcours sans théorie inutile. On ne demande pas aux lecteurs de concevoir d'emblée des agents, de connecter la mémoire ou de construire une interface complexe. La tâche est plus simple et plus utile : s'assurer que le modèle local fonctionne, que Python peut l'atteindre et que la réponse revient au code sans infrastructure externe. Pour cette raison, le matériel se lit comme une liste de contrôle fonctionnelle pour une première soirée, et non comme une vue d'ensemble abstraite des technologies.

• installez Ollama pour Windows, macOS ou Linux ;
• téléchargez le modèle qwen2.5:3b et vérifiez la réponse directement dans le terminal ;
• si votre matériel est faible, passez à qwen2.5:1.5b ;
• créez un environnement virtuel Python et installez LiteLLM ;
• écrivez un main.py minimal qui envoie une demande à http://localhost:11434.

Un avantage supplémentaire est le choix du modèle pour commencer. qwen2.5:3b est présenté comme une option compacte et suffisamment pratique pour un ordinateur portable ordinaire, surtout si vous avez besoin du support de la langue russe. Si les ressources sont limitées, l'auteur fournit immédiatement un scénario de secours avec une version plus légère. Cela rend le matériel non abstrait, mais pratique : l'article ne promet pas de miracles, mais aide réellement à obtenir la première réponse fonctionnelle sans bricolage de configuration excessif dès le départ.

Premier appel depuis Python

Le moment clé du texte est un exemple minimal en Python. Il importe la fonction completion de LiteLLM, spécifie le modèle au format ollama_chat/qwen2.5:3b, indique l'api_base local et passe la question de l'utilisateur à la liste messages.

C'est un détail important : même une seule demande est formatée dans la même structure qu'un dialogue futur. Essentiellement, l'auteur ne montre pas seulement un appel unique, mais établit immédiatement les bases d'un chat console avec historique des messages et contexte. Il est également utile que l'article ne se termine pas sur le chemin heureux.

À la fin, les défaillances typiques sont analysées : Connection refused si Ollama n'est pas lancé ; Model not found si le nom du modèle dans le code ne correspond pas à celui installé ; réponse très longue due au chargement du modèle en mémoire ; ModuleNotFoundError si le paquet a été installé dans le mauvais environnement ; problèmes de codage dans PowerShell. Pour un développeur débutant, une telle section est souvent plus précieuse que la théorie, car ce sont ces petits détails qui font échouer la plupart des premières expériences. L'auteur a déjà esquissé la suite de la série : dans la deuxième partie, ils construiront un petit chat console à partir d'une seule demande, puis ajouteront l'historique des messages et le contexte.

C'est-à-dire que ce n'est pas un extrait épars, mais une entrée soignée dans un parcours plus long — de l'exécution locale du modèle à une application complète. Ce format est particulièrement utile pour ceux qui veulent non seulement exécuter une démo, mais transformer progressivement un LLM en partie d'un projet Python ordinaire.

Ce que cela signifie

L'intérêt pour les modèles locaux est à nouveau en hausse, et ces matériaux abaissent la barrière d'entrée mieux que n'importe quel aperçu général. La combinaison Ollama et LiteLLM montre qu'un premier prototype fonctionnel peut être assemblé sans le cloud et sans clés API, et qu'il peut ensuite être facilement étendu si souhaité. Pour les développeurs russophones, c'est un bon pont entre la curiosité pour les LLM et du vrai code. C'est exactement ce type d'instructions qui transforme le plus souvent l'intérêt en pratique.