LangSmith permet désormais de comparer des LLM open source affinés grâce à une évaluation automatique

LangChain a publié un guide pour tester et comparer des modèles de langage open source affinés dans LangSmith, une plateforme d'évaluation, de supervision et de débogage des applications reposant sur des LLM. Le guide explique comment exécuter plusieurs modèles affinés en parallèle, automatiser l'évaluation des résultats et choisir, données à l'appui, la meilleure variante à déployer.

Pourquoi tester les modèles affinés

Le fine-tuning consiste à adapter un modèle de base sur des données spécialisées. En 2025, les équipes affinent activement Llama, Mistral, Falcon, Phi et d'autres modèles open source pour des tâches précises : recherche d'entreprise, génération de code, classification de demandes clients, réponses dans un domaine très ciblé.

Le problème, c'est que le résultat de l'affinage n'est pas garanti. Le modèle peut surapprendre ses exemples d'entraînement et perdre en compétence générale. Il peut ne pas surpasser le modèle d'origine associé à un bon prompt système. Enfin, deux exécutions sur les mêmes données mais avec des hyperparamètres différents peuvent donner une qualité radicalement différente, ce qu'il est impossible de savoir sans test.

S'y ajoute le fait qu'entraîner un modèle prend des heures et coûte des dizaines, voire des centaines de dollars. Sans système d'évaluation, les équipes devinent le gagnant ou dépensent autant de ressources à vérifier les réponses à la main. LangSmith propose une troisième voie.

Ce que sait faire LangSmith

La plateforme organise les tests dans un pipeline unique :

• Jeux de données : on charge un ensemble d'exemples de test avec des requêtes et des réponses de référence
• Exécutions parallèles : plusieurs modèles passent en même temps sur le même jeu de données
• Évaluation automatique : un LLM juge ou une fonction de métrique personnalisée, comme la précision, le F1, le respect du format ou des indicateurs non standard
• Rapport comparatif : un tableau unique avec les résultats de toutes les métriques
• Traçage : pour chaque appel, on voit les données d'entrée, la sortie du modèle et la note obtenue

Au-delà de la comparaison directe « modèle A contre modèle B », LangSmith permet de comparer différents checkpoints d'un même entraînement, différentes versions du jeu de données d'entraînement et différentes stratégies de fine-tuning au sein d'une même expérience.

Exemple : trois checkpoints sur un même jeu de données

Un scénario typique : une équipe affine Llama 3.1 8B sur des FAQ d'entreprise en trois variantes, avec un nombre d'époques et un learning rate différents. Dans LangSmith, elle crée un jeu de données de 200 questions réelles d'utilisateurs. Les trois versions s'exécutent en parallèle, et un LLM juge note chaque réponse sur une échelle de 1-5. Le tableau final indique immédiatement quel checkpoint offre la meilleure qualité pour une vitesse de réponse acceptable.

Sans LangSmith, ce processus exige des scripts sur mesure pour chaque exécution et une consolidation manuelle des résultats.

Le traçage intégré apporte un autre avantage : pour chaque « mauvaise » réponse, on peut ouvrir sa trace et comprendre ce qui a mal tourné. Le modèle n'a peut-être pas compris la question, a répondu dans un mauvais format, ou l'évaluateur a attribué la note par erreur.

Cette approche compte particulièrement quand on itère sur le jeu de données d'entraînement : voir l'évolution de la qualité après chaque modification des données est la base d'améliorations rapides et réfléchies.

Ce que cela signifie

Le fine-tuning de modèles open source passe du statut de pratique de niche des chercheurs en ML à celui d'outil standard des équipes produit. LangSmith comble une lacune essentielle : entre l'entraînement et le déploiement, il existe désormais une étape d'évaluation structurée, avec des métriques chiffrées. Cela réduit le risque de mettre en production une version moins bonne que l'originale et rend la prise de décision transparente : non pas « il semble que ce soit mieux », mais « voici les chiffres ».