MWS AI publie OpenAutoNLU : une bibliothèque qui choisit seule parmi trois méthodes d'entraînement de chatbot
Pour que un chatbot comprenne ce que veut le client, le développeur doit aujourd'hui choisir lui-même la méthode d'entraînement, nettoyer les annotations et apprendre au bot à écarter les questions hors sujet. MWS AI vient d'ouvrir la bibliothèque OpenAutoNLU, qui choisit seule l'une des trois méthodes en fonction du nombre d'exemples par classe, du few-shot au fine-tuning complet. Si le jeu de test manque, c'est GPT-4o-mini qui le génère : l'écart avec le test réel ne dépassait pas 5 %. Pour un prototype de bot avec peu d'annotations, c'est un démarrage rapide.
Traité par IA depuis Habr: MTS AI ; édité par Hamidun News
Imaginez un bot de support dans une banque. Il doit comprendre ce que veut le client : bloquer une carte, connaître son plafond ou changer d'offre. Cette tâche s'appelle NLU, pour compréhension du langage naturel.
Pour entraîner un tel bot, le développeur choisit une méthode, ajuste les paramètres, nettoie des annotations bancales, puis découvre que le bot répond avec assurance à des questions sur la météo, pour lesquelles il n'a pas été préparé. Ces requêtes « hors sujet » sont appelées OOD (out of scope) dans la littérature. L'équipe de MWS AI, avec des chercheurs de l'ITMO et du MBZUAI, a publié en open source la bibliothèque OpenAutoNLU, censée supprimer cette routine manuelle de la classification de textes et de l'extraction d'entités (NER).
Quel problème la bibliothèque résout-elle
Les auteurs, dont Grigori Archinov, responsable du projet, pointent trois faiblesses des outils AutoML existants : ils ne savent pas entraîner un modèle NLU en sortie de boîte, ils ne savent pas construire de bons détecteurs de requêtes hors sujet, ou bien ils sont trop complexes et exigent une expertise pointue.
La routine ressemble à ceci. Premièrement, il faut connaître à l'avance les hyperparamètres adaptés, ou parcourir toutes les combinaisons et tous les préréglages, ce qui prend du temps et coûte cher en calcul. Deuxièmement, dans les projets réels, l'annotation est rarement propre : elle contient des erreurs, des exemples ambigus, des doublons et des déséquilibres entre classes. La plupart des solutions AutoML ne vérifient pas la qualité des données directement dans le pipeline. Troisièmement, en production, le modèle reçoit des cas absents de l'entraînement. D'ordinaire, on ne les prend pas en compte ou il faut les annoter à l'avance, ce qui n'est pas toujours possible.
OpenAutoNLU est une bibliothèque Python dotée d'une API simple. L'utilisateur fournit ses données et lance l'entraînement ; le choix du mode, l'analyse des données, l'équilibrage et la préparation à l'inférence s'effectuent automatiquement. La bibliothèque fait déjà partie de l'outillage de la plateforme MWS AI Agents Platform.
Comment cela fonctionne, sur un exemple
L'idée centrale : la bibliothèque examine la répartition des classes et le nombre minimal d'exemples par classe, puis choisit elle-même la stratégie. Si les données sont très rares, AncSetFit entre en jeu : une méthode few-shot à exemples d'ancrage, conçue pour 2 à 5 exemples par classe. Pour un volume modéré, SetFit s'applique : un sentence-transformer surmonté d'un classifieur simple. Quand les exemples sont suffisamment nombreux, c'est tout le transformeur qui est affiné, avec si besoin un réglage des paramètres via Optuna. Par défaut, cela représente dix itérations, avec arrêt après cinq étapes sans progression de la métrique cible, le macro-F1.
Imaginons que, dans votre jeu de données d'intentions, certaines classes ne comptent que deux exemples et d'autres des centaines. Le système commence par « renforcer » les petites classes grâce à l'augmentation Augmentex et, si besoin, à un LLM. Pour les modes few-shot, il tronque en revanche les grandes classes : à 80 exemples pour SetFit et à 5 pour AncSetFit, afin que le déséquilibre ne fasse pas dérailler l'entraînement. Ensuite, la bibliothèque réévalue les données et peut changer de mode.
Une couche distincte est consacrée au diagnostic de l'annotation. Elle indique les exemples à réannoter : ceux où la prédiction diverge de l'étiquette, ceux où le modèle hésite, et ceux qui ne produisent que du bruit. Pour le NER, on agrège plusieurs prédictions obtenues par Monte Carlo dropout, traitées comme les avis de plusieurs annotateurs différents.
Pour les requêtes hors sujet, trois méthodes sont proposées : Marginal Mahalanobis Distance, Centroid Mahalanobis Distance et MaxProb. La première fonctionne mieux lorsque la plus petite classe compte au moins 81 exemples. Le seuil de rejet est calibré par la bibliothèque sur des exemples synthétiques out of scope ; il n'est donc pas nécessaire de les annoter à la main, même si vous pouvez ajouter vos propres exemples.
En l'absence de jeu de test, un LLM le génère à partir des exemples d'entraînement. Les expériences ont utilisé GPT-4o-mini : sur des jeux allant jusqu'à 80 exemples par classe, l'écart entre test synthétique et test réel ne dépassait pas 5 %. Tout point d'accès compatible OpenAI convient, y compris un modèle local.
Le résultat est un paquet contenant un checkpoint ONNX, un tokenizer, la correspondance des étiquettes et un fichier meta.json. Le gestionnaire d'inférence détecte automatiquement CUDA, CoreML ou CPU et ajuste la taille de batch pour ne pas saturer la mémoire.
Ce qu'il faut vérifier et où rester prudent
Les auteurs ont comparé la bibliothèque à AutoIntent, AutoGluon, LightAutoML et H2O sur quatre jeux de données d'intentions : banking77, massive, hwu64 et snips. Les essais portaient sur de petits échantillons (5 à 10 exemples par classe), des échantillons moyens (81 à 100) et des données complètes, les résultats étant moyennés sur trois exécutions. Les indicateurs retenus étaient le F1-macro, le F1-in-scope et le F1-OOD. Les tests ont tourné sur une machine équipée d'un NVIDIA H100 de 80 Go.
Les réserves sont évidentes. Il s'agit de mesures faites par les auteurs eux-mêmes sur des benchmarks standard d'intentions ; le comportement de la bibliothèque sur votre jeu de données bruité reste à vérifier. La lecture directe de l'annotation BIO pour le NER n'est pas encore prise en charge et est annoncée pour la prochaine version.
La conclusion pratique est simple. Si vous développez un bot, un routeur de demandes ou une extraction d'entités, et que vous disposez de peu de données annotées, OpenAutoNLU permet de bâtir rapidement une base fonctionnelle, avec un diagnostic de l'annotation et une protection contre les requêtes hors sujet. Une démo est temporairement accessible sur openautonlu.dev, et vous pouvez l'installer vous-même en suivant les instructions du dépôt.
- 21 nov. 2026MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
- 21 nov. 2026Unsloth met à jour ses versions compressées de Qwen3.8-27B : précision en hausse de 5 à 10 % à taille égale
- 21 nov. 2026Google ouvre les précommandes de lunettes intelligentes avec Gemini à partir de 395 $, ventes dès le 10 décembre
- 21 nov. 2026Via OpenRouter, une DeepSeek piratée a répondu pendant trois jours : les refus sont tombés de 83–98 % à 1 %
Questions clés sur cet article
Que sait-on sur Quel problème la bibliothèque résout-elle ?
Les auteurs, dont Grigori Archinov, responsable du projet, pointent trois faiblesses des outils AutoML existants : ils ne savent pas entraîner un modèle NLU en sortie de boîte, ils ne savent pas construire de bons détecteurs de requêtes hors sujet, ou bien ils sont trop complexes et exigent une expertise pointue. La routine ressemble à ceci.
Comment cela fonctionne, sur un exemple?
L'idée centrale : la bibliothèque examine la répartition des classes et le nombre minimal d'exemples par classe, puis choisit elle-même la stratégie. Si les données sont très rares, AncSetFit entre en jeu : une méthode few-shot à exemples d'ancrage, conçue pour 2 à 5 exemples par classe. Pour un volume modéré, SetFit s'applique : un sentence-transformer surmonté d'un classifieur simple.
Que sait-on sur Ce qu'il faut vérifier et où rester prudent ?
Les auteurs ont comparé la bibliothèque à AutoIntent, AutoGluon, LightAutoML et H2O sur quatre jeux de données d'intentions : banking77, massive, hwu64 et snips. Les essais portaient sur de petits échantillons (5 à 10 exemples par classe), des échantillons moyens (81 à 100) et des données complètes, les résultats étant moyennés sur trois exécutions. Les indicateurs retenus étaient le F1-macro, le F1-in-scope et le F1-OOD. Les tests ont tourné sur une machine équipée d'un NVIDIA H100 de 80 Go.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.