Un pilote à base de règles accumule lui-même les annotations et ramène l'attente du modèle d'un an à zéro

Collecter des annotations pour un détecteur d'anomalies dans une phase distincte, c'est attendre six mois, voire un an, avant que le système commence à faire quoi que ce soit. Alexey, responsable du pôle ML, décrit sur Habr une façon de supprimer cette attente : un pilote à base de règles entre en production tout de suite et produit en parallèle les annotations sur lesquelles le modèle apprendra ensuite.

Les annotations n'existent pas tant qu'on n'a pas commencé à les produire

On peut remettre en ordre les référentiels et les sources de données à l'avance. Ce travail ne dépend pas du modèle, et l'auteur l'a détaillé dans un article distinct. Avec les annotations, ce n'est pas possible. Personne n'a jamais marqué après coup où se trouvait l'anomalie et où se trouvait la norme. Cet historique n'existe pas tant que quelqu'un n'a pas commencé à rendre des verdicts sur le flux d'événements réel.

C'est là que le plan classique se retrouve dans l'impasse : rassembler d'abord des données étiquetées, puis entraîner, puis lancer. Si les étiquettes n'apparaissent que pendant le fonctionnement du système, le plan se heurte à sa propre condition.

Pourquoi des règles plutôt qu'un modèle

L'exemple retenu est le contrôle des achats : recherche de prix gonflés, d'achats hors objet et d'achats hors appel d'offres. L'auteur énumère ce qui casse dans chacune des approches évidentes :

• il n'y a rien pour entraîner un modèle supervisé, car il n'existe aucun exemple annoté ;
• l'approche non supervisée, appliquée à des événements rares, génère trop de faux positifs ;
• un LLM sans prix de référence qualifie avec assurance un prix gonflé de prix de marché.

La conclusion de l'annonce est tranchée : d'abord une couche de règles, le modèle venant se greffer par-dessus, plus tard. Les règles donnent un résultat exploitable dès le premier jour. Chaque alerte que l'expert confirme ou rejette devient une brique des futures annotations. Le pilote est ainsi utile, au lieu d'attendre simplement que les données s'accumulent.

Dans son article précédent, l'auteur avait laissé ouverte la question du prix de référence du marché. Ici, il affirme qu'on peut démarrer sans attendre que cette référence existe.

Thèses clés

• Durée d'une collecte d'annotations dédiée : de six mois à un an.
• Domaine d'application : prix gonflés, achats hors objet, achats hors appel d'offres.
• La méthode a été éprouvée sur différentes tâches ; les achats ont été choisis comme illustration.
• Architecture : la couche de règles d'abord, le modèle de ML vient s'y ajouter plus tard.
• Principal risque de l'approche LLM : des jugements assurés sur le marché, sans référence externe.

Il faut souligner une limite. Le fragment publié ne détaille pas la mécanique : comment exactement les verdicts reviennent dans le jeu de données, qui les rend, quel volume est nécessaire pour l'entraînement et quelles métriques de qualité on obtient. Ces éléments figurent dans la version complète de l'article, et il est trop tôt pour juger l'efficacité de l'approche à partir de l'annonce.

Ce qu'on peut en retenir en pratique

La logique s'applique bien au-delà des achats. Si vous construisez un détecteur d'anomalies en finance, en logistique, en lutte antifraude ou en supervision industrielle, il est utile de vous demander d'abord d'où viendront les étiquettes et combien de temps il faudra attendre. Si la réponse est « jamais » ou « un an », mieux vaut repenser le projet.

L'ordre pratique est le suivant. Commencez par des règles simples et vérifiables, que les experts comprennent et acceptent de valider. Intégrez au processus l'enregistrement de la décision humaine pour chaque alerte. Considérez ces décisions comme un produit principal du pilote, au même titre que les détections elles-mêmes. N'activez le modèle que lorsque suffisamment de cas confirmés et rejetés se sont accumulés, et n'utilisez un LLM que là où existe une référence externe permettant de vérifier ses affirmations.

Ce chemin est moins spectaculaire que le « on entraîne un réseau de neurones sur tout ». Mais l'entreprise obtient un résultat en quelques semaines, non en un an, et l'équipe conserve son propre jeu de données annoté, au lieu de compter sur celui d'un autre.