Déploiement de l'IA : les petits modèles de langage dans les agents (5 usages)

Les petits modèles de langage (SLM), qui comptent de 1 à 7 milliards de paramètres, s'imposent dans des rôles spécialisés au sein des systèmes agentiques, des rôles qui revenaient jusqu'ici aux modèles de pointe.

Pourquoi les SLM sont-ils devenus compétitifs ?

Il y a encore trois ans, les petits modèles restaient nettement derrière GPT-4 sur les tâches complexes. Aujourd'hui, le tableau a changé : les SLM spécialisés dépassent souvent les modèles de pointe généralistes sur des tâches étroites. Les progrès de l'entraînement n'expliquent pas tout : la plupart des étapes des chaînes d'agents sont des opérations étroites et bien formalisables, comme la classification, le routage, la mise en forme ou la validation. Sur ces tâches, les SLM offrent le meilleur rapport précision/coût.

Principaux repères de coût :

• GPT-4o : ~5 $ par million de tokens en entrée
• Microsoft Phi-3-mini (3,8B paramètres) : ~0,1 $ par million de tokens, soit un écart de 50 fois
• Mistral 7B Instruct : choix courant pour les agents dédiés à une tâche en production
• Meta Llama 3.2 1B et 3B : optimisés pour une exécution locale sur des appareils edge*
• SmolLM2 1.7B (HuggingFace) : tourne sur smartphones, Raspberry Pi et ordinateurs portables sans GPU

Dans les agents multi-étapes, où chaque étape est un appel distinct au modèle, l'écart de coût se multiplie.

Cinq rôles concrets dans les agents

Routage de tâches. Une requête entrante doit être dirigée vers le bon outil ou le bon sous-agent. C'est une tâche de classification avec un contexte réduit : un modèle de 1 à 3B s'en acquitte presque aussi bien que GPT-4, mais 10 à 100 fois plus vite et à bien moindre coût. Les orchestrateurs LangGraph et CrewAI permettent de remplacer le routeur par un SLM sans toucher au reste du système.

Sous-agents spécialisés. Dans les chaînes multi-agents, un modèle distinct traite chaque étape : extraction de données, mise en forme, validation de JSON, traduction. Un SLM affiné sur un domaine précis bat le GPT-4 généraliste en précision et en vitesse. Selon des travaux de Berkeley SkyLab (2024), un Llama-3.2-3B fine-tuné surpasse GPT-3.5-turbo sur l'extraction de données structurées.

Inférence locale sans cloud. Le SLM s'exécute directement sur l'appareil : ordinateur portable, smartphone ou contrôleur industriel. La latence tombe sous les 100 ms (contre 500 à 2000 ms pour une API cloud), la dépendance à internet disparaît et les données ne quittent pas l'appareil. Gemma 2B de Google et Llama 3.2 1B tournent de façon stable sur les smartphones actuels de milieu de gamme.

Un brouillon avant l'appel coûteux. Le SLM produit une réponse ou une structure initiale que le modèle de pointe affine ensuite, une sorte de speculative decoding au niveau de l'architecture. L'agent ne sollicite GPT-4 que lorsque la confiance du SLM passe sous un seuil défini. Les équipes qui appliquent ce schéma font état d'une baisse de 60 à 80 % des appels aux modèles coûteux.

Surveillance continue et déclencheurs réactifs. Les agents IoT et de production ont besoin d'un modèle qui traite un flux d'événements sans interruption. Garder GPT-4 actif 24 h/24 et 7 j/7 n'est pas viable économiquement : un SLM de 1 à 3B paramètres assure classification et détection d'anomalies en temps réel pour le coût d'un microservice ordinaire, sans limites de quotas ni latence d'API.

Ce que cela change

Choisir entre un SLM et un modèle de pointe n'est plus un compromis entre puissance et économies : c'est une question d'architecture. Les tâches des agents se découpent généralement en étapes étroites, que chacune un SLM spécialisé peut assumer. Le modèle de pointe reste nécessaire là où il faut un raisonnement approfondi, un contexte large ou de la multimodalité, et ce sont ces étapes-là qui méritent d'être payées.

Questions fréquentes

Les SLM sont-ils moins chers que GPT-4o, et de combien ?

Microsoft Phi-3-mini, avec 3,8 milliards de paramètres, coûte environ 0,1 $ par million de tokens en entrée contre ~5 $ pour GPT-4o, soit un écart d'environ 50 fois. Dans les chaînes agentiques multi-étapes, où chaque étape est un appel distinct au modèle, l'économie se multiplie.

Quels SLM sont les plus utilisés dans les agents en production ?

En production, Mistral 7B Instruct, Microsoft Phi-3-mini et Llama 3.2 de Meta (1B et 3B) sont populaires. Pour les appareils edge et les smartphones, on trouve Gemma 2B de Google et SmolLM2 1.7B de HuggingFace. Le choix dépend des exigences de latence, de confidentialité et des ressources de calcul disponibles.

*Meta a été reconnue organisation extrémiste et est interdite en Russie.

Sur quelles tâches les petits modèles de langage dépassent-ils GPT-4 ?

Sur des tâches spécialisées et étroites au sein des systèmes agentiques, les SLM obtiennent souvent de meilleurs résultats que les modèles de pointe.