Doubletapp explique pourquoi des datasets faibles empêchent l'IA d'améliorer le NPS, le CTR et la conversion

Doubletapp a publié une interview expliquant pourquoi les projets d'IA échouent plus souvent sur les données que sur le choix du modèle. Ilnur Faiziev, responsable de l'unité Data LLM, a détaillé comment la qualité du dataset se répercute directement sur le NPS du support, le CTR du catalogue et la conversion à l'achat.

Où les métriques se perdent

L'idée centrale de l'interview est simple : les entreprises n'achètent pas un modèle en tant que tel, mais l'amélioration d'un chiffre précis. Dans le support, c'est la rapidité de résolution des demandes et la satisfaction du client ; dans le commerce en ligne, le taux de clics sur les fiches produits et la part de commandes ; dans la recherche sur une base de connaissances, la précision de la réponse. Si le dataset est bruité, mal annoté ou sans lien avec les scénarios réels, le modèle se met à se tromper là où chaque erreur coûte de l'argent à l'entreprise.

Parler de données n'a donc rien d'académique ici : on parle directement de chiffre d'affaires, de coûts et de qualité de service.

L'article présente aussi des cas moins évidents. Pour une entreprise industrielle, l'IA peut chercher des réponses dans les règlements internes et réduire le nombre d'erreurs en production. Pour les tâches de vision par ordinateur, elle peut évaluer la qualité de l'acier à partir des paramètres du procédé et aider à maintenir un résultat stable. La logique est la même partout : en haut, la métrique métier ; en dessous, la qualité du système de ML ; et sous elle, le dataset, qui soit renforce le modèle, soit le tire discrètement vers le bas.

• NPS et temps de réponse dans le support
• CTR et conversion en e-commerce
• Précision de la recherche dans la base de connaissances interne
• Réduction des erreurs dans les processus de production
• Qualité de la reconnaissance dans les systèmes de vision par ordinateur

Quand le dataset est indispensable

Selon Faiziev, un dataset de qualité est nécessaire dans deux situations typiques. La première : l'entreprise ne fait que comparer l'IA au travail manuel et veut savoir si elle peut seulement lancer la solution en production. La seconde : le système fonctionne déjà, mais ses métriques ne satisfont plus : les réponses sont hors sujet, les recommandations ne mènent pas à l'achat, et la vitesse ou la précision ont atteint un plafond. Dans les deux cas, sans mesure de la qualité actuelle ni métrique cible claire, le travail sur les données relève de la devinette.

«

Les datasets sont nécessaires à deux étapes du développement du produit ».

L'accent est mis en particulier sur l'économie. Un dataset n'est pas un développement sur mesure sans fin, mais plutôt un artefact fini, qui peut être préparé, vérifié et chargé dans le pipeline d'entraînement ou de fine-tuning. Certes, l'audit du modèle doit être répété régulièrement, mais la collecte et l'annotation reviennent généralement moins cher quand on les confie à des spécialistes du processus. Si tout reste en interne, les ingénieurs passent des semaines à choisir des exemples, à organiser l'environnement, à contrôler la qualité et à encadrer les annotateurs. Pour l'entreprise, c'est souvent plus coûteux qu'il n'y paraît au départ.

Pourquoi le crowdsourcing s'essouffle

L'interview est aussi intéressante parce qu'elle acte un basculement du marché. Le crowdsourcing de masse fonctionnait bien à l'époque des tâches simples du type « chat ou chien ». Aujourd'hui, les modèles traitent eux-mêmes ces scénarios avec assez d'assurance, et l'annotation humaine se déplace vers les domaines d'expertise. S'il s'agit d'un assistant de code pour un langage rare, d'une validation industrielle complexe ou d'une base de connaissances spécialisée, il ne suffit pas d'un grand nombre de contributeurs : il faut des personnes qui comprennent réellement le contexte de la tâche et savent repérer les erreurs subtiles.

Un schéma combiné reste possible : la partie simple du pipeline peut être confiée à l'annotation de masse, la partie complexe à une équipe d'experts. Mais l'entreprise hérite alors d'une charge nouvelle : décomposer la tâche, trouver différents prestataires, transmettre le contexte de l'un à l'autre et ajouter du contrôle qualité aux jonctions. C'est pourquoi, selon Doubletapp, le marché reste pour l'instant relativement étroit et s'articule autour des grandes entreprises de LLM et des projets où l'amélioration des métriques se convertit facilement en argent.

Ce que cela signifie

Pour le marché, c'est le signe que l'avantage concurrentiel en IA se déplace de plus en plus du choix du modèle le plus médiatisé vers la qualité des données appliquées. Les grands acteurs ont toujours besoin de gros datasets, mais la prochaine vague de demande pourrait venir de petites équipes avec des produits d'IA de niche. Elles testeront d'abord un MVP sur des données existantes et, une fois l'économie établie, commenceront à acheter des datasets ciblés pour leurs points faibles ; c'est là que la croissance réelle des métriques apparaîtra.