Flag Soft : le benchmark « Épreuve de Dalí » a aidé à choisir un LLM selon la qualité, la vitesse et le prix

Choisir un LLM pour un produit réel se réduit rarement à comparer des démos léchées. L'auteur du texte a abordé la question côté pratique : en cherchant un modèle pour son premier projet perso, il a construit son propre benchmark, l'« Épreuve de Dalí », et testé les LLM populaires non sur de grandes promesses, mais sur trois points qui pèsent réellement sur le déploiement : la qualité des réponses, la vitesse et le coût.

L'idée est née d'un problème d'ingénierie très ordinaire. Quand il faut choisir un modèle pour son propre projet, la question abstraite « quel est le meilleur LLM ? » se transforme vite en une série de contraintes concrètes. L'un écrit de façon convaincante, mais répond trop lentement. Un autre tient dans le budget, mais perd le fil sur de longues instructions. Un troisième réussit les tests de manière stable, mais son prix final le rend inutilisable pour un produit grand public. C'est de là qu'est sorti ce test maison, qui s'est ensuite révélé utile non seulement pour une expérience personnelle, mais aussi pour les décisions produit de Flag Soft.

L'« Épreuve de Dalí » repose sur une logique simple, mais juste. Si un modèle doit être intégré à un produit, il faut le comparer non sur l'impression ponctuelle d'un chat, mais sur un même jeu de tâches. Dans cette approche, la qualité ne se résume pas à « la réponse me plaît ou non » : c'est la capacité du modèle à préserver le sens, à suivre les consignes, à ne pas perdre de détails et à fournir un résultat exploitable sans longue retouche manuelle.

La vitesse compte tout autant : pour un outil interne, quelques secondes de plus se tolèrent, mais dans un service destiné aux utilisateurs, chaque délai nuit à la rétention et à la conversion. Le coût est le troisième paramètre incontournable, car même un modèle performant peut devenir trop cher quand on passe à des milliers de requêtes.

C'est là que réside l'intérêt du benchmark : il ne cherche pas un champion absolu, il montre l'équilibre. En pratique, le modèle qui écrit simplement le mieux ne gagne presque jamais. Gagne celui qui offre une qualité acceptable au bon moment et à un prix compatible avec l'économie unitaire du produit. Pour une entreprise qui veut intégrer un LLM à un vrai service, c'est bien plus utile que des tableaux tape-à-l'œil de scores abstraits. Cette méthode d'évaluation permet de repérer à l'avance où se situera le goulot d'étranglement : dans la latence de réponse, dans le budget de tokens ou dans l'instabilité du comportement du modèle face à des requêtes similaires.

La conclusion appliquée de l'auteur est intéressante en soi : le benchmark a aidé à choisir non pas le modèle le plus « intelligent » en général, mais le LLM optimal pour l'intégration aux produits de Flag Soft. La nuance compte. Les équipes commencent souvent le déploiement par un modèle haut de gamme, puis doivent se rabattre sur une alternative moins chère ou plus rapide. Ici, la logique est inverse : on formule d'abord les exigences réelles, puis on choisit le modèle qui y répond. Cet ordre réduit le risque de refontes coûteuses quand l'architecture est déjà liée à un fournisseur qui ne tient pas l'économie, la vitesse de réponse ou le niveau de service attendu.

L'approche de l'auteur est aussi utile parce qu'elle reflète l'état réel du marché des LLM. Selon les scénarios, des modèles différents peuvent l'emporter : génération de textes, synthèse, recherche dans les connaissances, aide à l'opérateur, autocomplétion dans une interface ou traitement des demandes clients. Un même candidat peut briller sur des tâches créatives et échouer là où une stricte discipline d'exécution des consignes est exigée. C'est pourquoi les benchmarks sur mesure ne sont plus un luxe, mais une hygiène de base pour toute équipe qui compte payer un modèle sur son propre budget et répondre de l'expérience utilisateur.

Le sens principal de l'« Épreuve de Dalí » est simple : on choisit un LLM comme n'importe quelle technologie d'infrastructure, à partir de métriques vérifiables et non du battage médiatique. Une équipe qui dispose de son propre jeu de tâches, d'une limite de temps de réponse et d'un budget clair obtiendra presque à coup sûr une réponse plus précise qu'avec un classement général. Pour le marché, c'est un signal de plus : l'époque où l'on choisissait un modèle « sur sa réputation » touche à sa fin, et le pragmatisme d'ingénierie passe au premier plan.