Ollama et LiteLLM : un tutoriel Habr pour lancer un chat LLM local en Python, sans cloud

Habr publie un guide d'initiation détaillé au développement LLM local en Python. Plutôt que de commencer par les API cloud, l'auteur propose le duo Ollama et LiteLLM : installer un modèle sur sa propre machine, monter l'environnement et obtenir une première réponse directement depuis main.py.

Pourquoi en local

La plupart des ressources d'initiation aux LLM envoient le débutant vers le cloud dès la première étape : créer un compte, récupérer une clé API, enregistrer une carte bancaire, surveiller les quotas. Pour un développeur qui veut simplement comprendre la mécanique de base, c'est du bruit superflu, et parfaitement inutile. Ce nouveau guide trace un autre chemin : tout faire tourner en local d'abord, pour observer la logique du modèle sans facturation, sans services externes et sans crainte de dépenser de l'argent par accident pendant les tests.

L'approche a un autre mérite : elle rend transparent tout le parcours d'une requête. L'article décompose littéralement la chaîne maillon par maillon : le code Python envoie un message à LiteLLM, qui le transmet à Ollama, lequel dialogue avec le modèle local et renvoie la réponse au programme. Cette décomposition ne sert pas qu'aux débutants. Elle permet de savoir vite où chercher quand le modèle ne répond pas, que le service n'est pas lancé ou que le code pointe vers la mauvaise adresse.

«

Ce n'est pas de la “magie de l'AI”, mais un flux logiciel ordinaire. »

Ce que contient la stack

L'auteur distingue d'emblée le rôle de chaque outil, car on les confond facilement. Ollama se charge ici de lancer le modèle local et d'y donner accès via un serveur local. LiteLLM est une bibliothèque Python qui offre une interface unifiée pour appeler les modèles. Résultat : le code qui fonctionne aujourd'hui avec un modèle local pourra plus tard être porté assez simplement vers un fournisseur cloud, sans réécrire l'application de zéro. Pour une première prise en main, c'est un compromis pragmatique entre simplicité et préparation de la suite.

La première partie de la série suit un parcours sans théorie superflue. On ne demande pas au lecteur de concevoir des agents, de brancher une mémoire ou de construire une interface complexe. L'objectif est plus simple et plus utile : vérifier que le modèle local fonctionne, que Python parvient à le joindre et que la réponse revient dans le code sans infrastructure externe. Le texte se lit ainsi comme une checklist opérationnelle pour une première soirée, et non comme un panorama technologique abstrait.

• installer Ollama sous Windows, macOS ou Linux ;
• télécharger le modèle qwen2.5:3b et vérifier sa réponse directement dans le terminal ;
• sur une machine peu puissante, basculer sur qwen2.5:1.5b ;
• créer un environnement virtuel Python et installer LiteLLM ;
• écrire un main.py minimal qui envoie une requête à http://localhost:11434.

Autre bon point : le choix du modèle de départ. qwen2.5:3b est présenté comme une option compacte et suffisamment pratique pour un ordinateur portable classique, notamment si l'on a besoin du russe. Si les ressources manquent, l'auteur fournit d'emblée un plan B avec une version plus légère. Le contenu reste ainsi concret et terre à terre : l'article ne promet pas de miracles, il aide à obtenir réellement une première réponse fonctionnelle sans se battre longuement avec des fichiers de configuration dès le départ.

Premier appel depuis Python

Le cœur du texte est un exemple Python minimal. Il importe la fonction completion de LiteLLM, définit le modèle au format ollama_chat/qwen2.5:3b, indique l'api_base local et transmet la question de l'utilisateur dans la liste messages. Le détail compte : même une requête unique adopte la structure d'un futur dialogue. En pratique, l'auteur ne se contente pas de montrer un appel ponctuel, il pose dès maintenant les fondations d'un chat en console avec historique des messages et contexte.

Autre atout : l'article ne s'arrête pas au scénario idéal. Il se conclut par un tour des pannes typiques : Connection refused si Ollama n'est pas lancé ; Model not found si le nom du modèle dans le code ne correspond pas à celui installé ; une première réponse très lente due au chargement du modèle en mémoire ; une erreur ModuleNotFoundError si le paquet a été installé dans le mauvais environnement ; des problèmes d'encodage dans PowerShell. Pour un développeur débutant, ce genre de section vaut souvent plus que la théorie, car c'est précisément sur ces détails que butent la plupart des premières expérimentations.

L'auteur a déjà annoncé la suite de la série : la deuxième partie transformera la requête unique en petit chat en console, puis ajoutera l'historique des messages et le contexte. Il ne s'agit donc pas d'un snippet isolé, mais d'une porte d'entrée soignée vers un parcours plus long, du lancement local d'un modèle jusqu'à une application complète. Ce format sert particulièrement ceux qui veulent non seulement lancer une démo, mais intégrer progressivement un LLM à un projet Python ordinaire.

Ce que cela signifie

L'intérêt pour les modèles locaux repart à la hausse, et ce type de contenu abaisse la barrière d'entrée mieux que n'importe quel panorama généraliste. Le duo Ollama et LiteLLM montre qu'on peut assembler un premier prototype fonctionnel sans cloud ni clé API, puis, si on le souhaite, faire évoluer la même architecture à plus grande échelle. Pour les développeurs russophones, c'est une bonne passerelle entre la curiosité pour les LLM et du vrai code. Ce sont justement ces tutoriels qui transforment le plus souvent l'intérêt en pratique.