Le développeur de Charoïte explique où le modèle NLI fonctionne dans son assistant pour appels Zoom, et où il ne fonctionne pas

Dans la dixième partie de sa série sur un assistant local pour appels Zoom, l'auteur du projet « Charoïte » analyse le modèle NLI qui tourne dans son système depuis trois mois. L'annonce sur Habr s'ouvre sur un exemple qui montre à quoi il sert : « le budget du trimestre est approuvé » et « le budget du trimestre n'est pas approuvé » sont presque une seule et même phrase pour des embeddings. Les mots coïncident, et la particule « non » pèse peu dans le vecteur.

Pour une réunion, cela signifie pourtant qu'on a décidé le contraire. L'annonce ne contient pas le texte complet : il n'y aura donc ni chiffres ni benchmarks ci-dessous, seulement ce que l'auteur indique explicitement et le contexte dans lequel il faut le lire.

Pourquoi les embeddings confondent les contraires

Un modèle d'embedding compresse une phrase en vecteur et évalue la proximité selon le thème et le lexique. C'est pratique pour chercher dans une transcription : la requête « qu'a-t-on décidé sur le budget » retrouvera le bon passage. Mais ce même mécanisme réagit faiblement à la négation, aux conditions et aux changements de modalité. « Validé », « non validé » et « on validera si on trouve l'argent » se retrouvent voisins dans l'espace vectoriel, alors que pour un compte rendu, ce sont trois faits différents.

Le NLI (natural language inference) résout un autre problème. Le modèle reçoit une paire d'énoncés et détermine si le second découle du premier, le contredit ou n'a aucun lien avec lui. C'est la formulation classique à trois classes : entailment, contradiction, neutral. Dans ce cadre, la paire sur le budget approuvé et non approuvé donne contradiction, et non « textes très proches ».

Ce que l'on sait de Charoïte et du NLI

Charoïte est un assistant local pour les appels en visioconférence. L'auteur lui consacre une série d'articles, et la dixième partie traite entièrement d'un seul composant. Le titre et l'introduction permettent de retenir trois choses.

• Le modèle NLI tourne dans Charoïte depuis trois mois : ce n'est donc pas une expérience de week-end, mais un composant doté d'un historique d'exploitation.
• L'auteur a essayé plusieurs usages : le titre en mentionne trois où le modèle a été « essayé » et deux d'où il est parti.
• Une analyse du coût de la décision est annoncée à part : l'auteur écrit que le retrait du modèle « a eu un coût ».

Le modèle, sa taille, les latences et la précision ne sont pas indiqués dans l'annonce. Pour un assistant local, ce sont des paramètres clés : le classifieur NLI est appelé sur des paires d'énoncés, et leur nombre grimpe vite au fil d'une longue réunion. Si l'on compare chaque nouvelle thèse à toutes les précédentes, la charge devient quadratique, et cela se remarque sur du matériel domestique.

Où le NLI est généralement pertinent, et où il ne l'est pas

Dans le texte complet, l'auteur présente, à en juger par le titre, les deux faces. La pratique courante permet de supposer quels usages tombent dans chaque groupe, mais il s'agit d'une hypothèse, pas d'un résumé de l'article. Le NLI convient bien à la vérification de paires dont l'erreur coûte cher : détecter des contradictions entre des décisions prises lors de réunions différentes, confronter le compte rendu final à la transcription, vérifier qu'un point du résumé a bien été prononcé.

Il fonctionne moins bien là où il faut une interprétation fine d'un long contexte. La parole spontanée, avec ses réserves, ses phrases inachevées et ses renvois du type « comme on l'a décidé hier », se prête mal à des paires de courts énoncés. Le classifieur est entraîné sur des phrases soignées, pas sur une transcription brute.

D'où une raison typique de retirer le NLI de certaines tâches : les faux positifs sur une transcription bruitée coûtent plus cher que les contradictions manquées. L'article de l'auteur dira s'il confirme précisément cette raison.

Comment exploiter cette analyse

Si vous construisez votre propre assistant de réunion ou une recherche dans des transcriptions, trois actions sont utiles.

• Constituez un petit ensemble de paires avec négations et conditions (« approuvé » contre « non approuvé », « si » contre « quand ») et passez-les dans votre recherche par embeddings. Vous verrez où le vecteur se trompe.
• Placez le NLI après la présélection des candidats, et non à sa place : les embeddings trouvent vite les énoncés similaires, et le NLI ne vérifie que ces paires.
• Mesurez la qualité sur de vraies transcriptions, et non sur des phrases de test propres. C'est là que l'on est le plus souvent amené à retirer le modèle.

La dixième partie de la série est intéressante comme rare retour d'expérience sur trois mois d'exploitation, et non sur un lancement. Les conclusions précises, les chiffres et le coût du retrait du modèle sont à chercher dans l'article original sur Habr.