Doubletapp a expliqué pourquoi des datasets de faible qualité empêchent AI d'améliorer le NPS, le CTR et la conversion

Doubletapp a publié une interview expliquant pourquoi les projets d'IA échouent plus souvent non pas sur le choix du modèle, mais sur les données. Ilnur Fayziev, responsable de l'unité Data LLM, a expliqué comment la qualité du dataset se reflète directement sur le NPS d'assistance, le CTR du catalogue et le taux de conversion d'achat.

Où les métriques se perdent

L'idée principale de l'interview est simple : le business n'achète pas un modèle en tant que tel, mais une amélioration d'un chiffre spécifique. En support, c'est la vitesse de résolution des problèmes et la satisfaction client ; dans le retail en ligne — la clicabilité des fiches produit et la part des commandes ; dans la recherche de base de connaissance — la précision de la réponse. Si un dataset est collecté avec du bruit, une mauvaise annotation ou sans lien avec des scénarios réels, le modèle commence à faire des erreurs où chaque faute coûte de l'argent au business.

Par conséquent, la conversation sur les données ici n'est pas académique, mais une conversation directe sur les revenus, les coûts et la qualité du service.

Le matériel présente également des cas d'usage moins évidents. Pour une entreprise industrielle, l'IA peut rechercher des réponses dans les règlements internes et réduire le nombre d'erreurs dans les processus de production. Pour les tâches de vision par ordinateur — déterminer la qualité de l'acier selon les paramètres du processus et aider à maintenir des résultats stables. Dans tous les cas, il y a la même logique : au-dessus se trouve la métrique business, dessous — la qualité du fonctionnement du système ML, et sous elle se trouve le dataset, qui soit renforce le modèle, soit l'entraîne imperceptiblement vers le bas.

• NPS et temps de réponse en support
• CTR et conversion en e-commerce
• Précision de la recherche dans la base de connaissance interne
• Réduction des erreurs dans les processus de production
• Qualité de reconnaissance dans les systèmes de vision par ordinateur

Quand un dataset est obligatoire

Selon Fayziev, un dataset de qualité est nécessaire dans deux situations typiques. La première — quand une entreprise compare simplement l'IA au travail manuel et veut comprendre si la solution peut être déployée en production. La deuxième — quand le système fonctionne déjà, mais ses métriques ne satisfont plus : les réponses ne sont pas pertinentes, les recommandations ne mènent pas à des achats, et la vitesse ou la précision ont atteint un plafond. Dans les deux cas, sans qualité mesurable actuelle et métrique cible claire, le travail sur les données devient une loterie.

"Les datasets sont nécessaires à deux stades du développement du produit."

Un accent particulier a été mis sur l'économie. Un dataset n'est pas un développement personnalisé infini, mais plutôt un artefact final qui peut être préparé, vérifié et chargé dans un pipeline d'entraînement ou d'ajustement fin. Oui, les audits de modèle doivent être répétés régulièrement, mais la collecte et l'annotation de données sont généralement mieux confiées à ceux qui se spécialisent dans ce processus. Si tout est conservé en interne, les ingénieurs passent des semaines à sélectionner des exemples, à configurer l'environnement, à contrôler la qualité et à gérer les annotateurs. Pour le business, cela coûte souvent plus cher qu'il n'y paraît au départ.

Pourquoi le crowdsourcing s'affaiblit

L'interview est aussi intéressante en ce qu'elle capture un changement du marché. Le crowdsourcing massif fonctionnait bien à l'époque des tâches simples comme « chat ou chien ». Maintenant, ces scénarios sont traités par les modèles eux-mêmes avec assez de confiance, donc l'annotation humaine se déplace vers des domaines spécialisés.

S'il s'agit d'un assistant de code pour une langue rare, d'une validation industrielle complexe ou d'une base de connaissance thématique, vous avez besoin non seulement d'un grand flux d'exécutants, mais de personnes qui comprennent vraiment le contexte de la tâche et peuvent repérer les erreurs subtiles. Une approche combinée est toujours possible : la partie simple du pipeline peut être confiée à l'annotation en masse, tandis que la partie complexe — à une équipe spécialisée. Mais alors le business fait face à une nouvelle charge : la décomposition des tâches, la recherche de différents sous-traitants, le transfert de contexte entre eux et un contrôle de qualité supplémentaire aux interfaces.

C'est précisément pour cela que le marché, selon l'évaluation de Doubletapp, reste relativement étroit et gravite autour des grandes entreprises de LLM et des projets où l'amélioration des métriques peut être facilement convertie en argent.

Ce que cela signifie

Pour le marché, c'est un signal que l'avantage compétitif en IA se déplace de plus en plus du choix du modèle le plus bruyant vers la qualité des données appliquées. Les grands acteurs ont toujours besoin de grands datasets, mais la prochaine vague de demande peut venir de petites équipes avec des produits d'IA de niche. Elles testeront d'abord le MVP sur des données prêtes à l'emploi, et quand elles verront l'économie, elles commenceront à acheter des datasets ciblés pour leurs points faibles — et c'est là que la vrai croissance des métriques apparaîtra.