LangSmith научился сравнивать дообученные open-source LLM с автоматической оценкой

LangChain a publié un guide pour tester et comparer les modèles de langage open-source ajustés dans LangSmith — une plateforme d'évaluation, de surveillance et de débogage des applications LLM. Le guide décrit comment exécuter plusieurs modèles fine-tuned en parallèle, automatiser l'évaluation des résultats et sélectionner la meilleure version pour le déploiement en fonction des données.

Pourquoi tester les modèles fine-tuned

Le fine-tuning est l'adaptation d'un modèle de base sur des données spécialisées. En 2025, les équipes ajustent activement Llama, Mistral, Falcon, Phi et d'autres modèles open-source pour des tâches spécifiques : recherche d'entreprise, génération de code, classification des demandes de clients, réponses dans des domaines spécialisés. Le problème est que les résultats du fine-tuning ne sont pas garantis.

Un modèle peut surapprentissage sur les exemples d'entraînement et perdre ses compétences générales. Il peut ne pas surpasser le modèle original avec un bon prompt système. Enfin, deux exécutions d'entraînement avec les mêmes données mais des hyperparamètres différents peuvent produire une qualité fondamentalement différente — et le comprendre sans test est impossible.

Ajoutez à cela que l'entraînement d'un modèle prend des heures et coûte des dizaines ou des centaines de dollars. Sans système d'évaluation, les équipes devinent simplement le gagnant ou dépensent autant de ressources pour une vérification manuelle des réponses. LangSmith offre une troisième voie.

Ce que LangSmith peut faire

La plateforme organise les tests dans un pipeline unifié :

• Datasets — chargez un ensemble d'exemples de test avec des requêtes et des réponses de référence
• Exécutions parallèles — plusieurs modèles s'exécutent sur le même dataset simultanément
• Évaluation automatique — LLM-judge ou fonction de métrique personnalisée : précision, F1, conformité du format, métriques personnalisées
• Rapport comparatif — un seul tableau avec les résultats sur toutes les métriques
• Traçage — pour chaque appel, vous pouvez voir les données d'entrée, la sortie du modèle et l'évaluation reçue

Au-delà de la comparaison directe « modèle A vs modèle B », LangSmith permet de comparer différents points de contrôle d'un entraînement, différentes versions de datasets d'entraînement et différentes stratégies de fine-tuning au sein d'une seule expérience.

Exemple : trois points de contrôle sur un dataset

Un scénario typique : une équipe ajuste Llama 3.1 8B sur des FAQ d'entreprise en trois variantes — avec un nombre d'épochs et des taux d'apprentissage différents. Dans LangSmith, un dataset est créé à partir de 200 questions réelles d'utilisateurs.

Les trois versions s'exécutent en parallèle, le LLM-judge évalue chaque réponse sur une échelle de 1-5. Le tableau résultant montre immédiatement quel point de contrôle offre la meilleure qualité avec une vitesse de réponse acceptable. Sans LangSmith, ce processus nécessite des scripts personnalisés pour chaque exécution et une consolidation manuelle des résultats.

Le traçage intégré ajoute un autre avantage : pour chaque réponse « mauvaise », vous pouvez ouvrir son trace et comprendre ce qui s'est mal passé — le modèle n'a pas compris la question, a répondu dans le mauvais format ou l'évaluateur a commis une erreur. Cette approche est particulièrement importante lors de l'itération sur le dataset d'entraînement : voir la dynamique de la qualité après chaque changement dans les données est la base d'améliorations rapides et significatives.

Qu'est-ce que cela signifie

Le fine-tuning des modèles open-source se transforme d'une pratique de niche des chercheurs en ML en un outil standard pour les équipes produit. LangSmith comble une lacune clé : entre l'entraînement et le déploiement, il existe maintenant une étape d'évaluation structurée avec des métriques numériques. Cela réduit le risque de déployer une version pire que l'original et rend le processus de prise de décision transparent — non pas « cela semble mieux », mais « voici les chiffres ».