Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMIT News→ original

Les modèles audio marquent des points aux tests même avec du bruit aléatoire, selon le MIT et IBM

Sur les tests à choix multiples, les modèles audio n'écoutent souvent pas l'enregistrement : ils devinent la réponse à partir du texte. Exemple donné par l'équipe du MIT et d'IBM : à la question « quel animal grogne ? », avec les options « écureuil, lion, alligator, mésange », le modèle choisit simplement « lion ». Si l'on remplace l'enregistrement par un bruit aléatoire, les scores restent honorables. D'où la recommandation : ajoutez du bruit et du silence à vos tests de modèles audio. Si le score ne baisse pas, le test ne mesure pas l'écoute.

Traité par IA depuis MIT News ; édité par Hamidun News
Les modèles audio marquent des points aux tests même avec du bruit aléatoire, selon le MIT et IBM
Source : MIT News. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMIT News ↗
Rédacteur en chef
Chiffre clé #1IPLoc remplace le mot « avion » par le prénom « Elizabeth » pour forcer le modèle à regarder l'image
Chiffre clé #2Le projet MIT-IBM dure depuis plusieurs années : l'équipe a publié une vingtaine d'articles
Chiffre clé #3Ensuite, l'équipe s'attaquera aux modèles qui écoutent pendant qu'ils parlent

Imaginez que vous choisissez un modèle audio pour un produit vocal et que vous regardez ses résultats dans les benchmarks. Le score est élevé, donc le modèle comprend bien le son ? Pas forcément. L'équipe MIT-IBM Computing Research Lab, dirigée par Jim Glass, chercheur senior au laboratoire CSAIL du MIT, a constaté que de nombreux modèles audio, dans les tests à choix multiples, n'écoutent tout simplement pas l'enregistrement. Ils devinent la bonne réponse à partir du texte de la question. Si l'on remplace le son par du bruit aléatoire, les résultats restent néanmoins corrects.

Un modèle qui « écoute » sans entendre

Il s'agit de modèles capables de percevoir l'audio et de raisonner à son sujet. Les évaluer est le plus souvent simple : on pose une question et on propose plusieurs réponses. C'est moins coûteux que d'évaluer des réponses libres. Une réponse libre devrait être vérifiée soit par des humains, ce qui est cher et long, soit par un autre modèle de langage jouant le rôle de juge, qui a ses propres faiblesses.

Glass donne un exemple parlant. Question : quel animal grogne sur l'enregistrement ? Options : écureuil, lion, alligator, mésange. Le modèle n'écoute pas le son : il repère le mot « lion » parmi les options et le choisit. Les chercheurs s'en sont assurés en remplaçant l'enregistrement par du bruit aléatoire. Les modèles s'en sortaient toujours plutôt bien, ce qui prouve qu'ils s'appuyaient sur le texte de la question.

Dans l'article OmniR1, l'équipe propose des méthodes pour amener le modèle à mieux prêter attention au son et à moins se fier aux indices contenus dans la question. Conclusion pratique pour ceux qui évaluent des modèles audio : ajoutez à votre protocole des cas de contrôle avec du bruit ou du silence. Si le score baisse à peine, votre test ne mesure pas ce que vous voulez mesurer. Il est également utile de comparer un modèle sur plusieurs types de benchmarks, et non sur un seul.

Le même problème avec les images

Une logique similaire apparaît dans le traitement des images. L'étude IPLoc montre que même des modèles récents comme GPT-4o peinent à localiser un objet précis sur une image lorsqu'ils ne disposent que de quelques exemples. Les auteurs ont imaginé un entraînement avec remplacement des noms : par exemple, le mot « avion » était remplacé par le prénom « Elizabeth ». Le modèle ne peut pas s'appuyer sur ce qu'il sait déjà des avions et doit observer plus attentivement le contexte visuel.

Une autre piste consiste à constater qu'un modèle possède parfois déjà la représentation interne nécessaire, mais que celle-ci disparaît après un affinage ultérieur. Une partie des travaux vise donc à restaurer ces capacités sans nouvelle annotation.

Travailler sans budget démesuré

L'équipe reconnaît qu'elle n'a pas les ressources pour entraîner son propre modèle fondation géant. Les chercheurs adaptent donc des modèles ouverts grâce à des méthodes faiblement supervisées, qui demandent moins de données annotées. Un exemple est l'apprentissage par renforcement au moment de l'inférence (test-time reinforcement learning). Le projet n'a pas d'approche unique : selon Glass, « mille fleurs s'épanouissent ». Ont également participé aux travaux Rogerio Feris, Brian Kingsbury et Samuel Thomas, d'IBM Research, ainsi que Hilde Kuehne, de l'université de Tübingen.

Le projet a débuté simplement : on présentait aux modèles des paires « image et description sonore », ainsi que des paires non concordantes. Le modèle a ainsi appris à associer seul le son du mot « phare » à l'image d'un phare, sans texte. Des vidéos et des sons ambiants ont ensuite été ajoutés : le modèle distinguait le cri des perroquets, des guitares électriques et des guitares acoustiques. Plus tard, l'équipe a intégré de grands modèles de langage. En plusieurs années, elle a publié une vingtaine d'articles communs notables et diffuse des benchmarks ouverts.

La suite et les limites

Dans l'année à venir, l'équipe déplacera son attention vers les systèmes de dialogue en full duplex. Ce sont des modèles qui écoutent pendant qu'ils parlent, comme le font les humains, au lieu d'attendre leur tour. Glass estime qu'il sera plus naturel de dialoguer avec de tels assistants vocaux. Pour l'instant, les modèles ouverts de ce type sont en retrait par rapport aux grands modèles de langage : ils maîtrisent les bases de la conversation, mais leur compréhension du temps et leurs connaissances restent limitées.

Une précision importante : il s'agit d'un entretien, et non d'un article présentant un tableau de résultats. Il n'y figure aucun chiffre sur la baisse du score en présence de bruit. Il faut néanmoins retenir cet avertissement : un score élevé d'un modèle audio sur un test à choix multiples ne prouve pas qu'il a réellement entendu quelque chose.

Dossier

Questions clés sur cet article

Que sait-on sur Un modèle qui « écoute » sans entendre ?

Il s'agit de modèles capables de percevoir l'audio et de raisonner à son sujet. Les évaluer est le plus souvent simple : on pose une question et on propose plusieurs réponses. C'est moins coûteux que d'évaluer des réponses libres. Une réponse libre devrait être vérifiée soit par des humains, ce qui est cher et long, soit par un autre modèle de langage jouant le rôle de juge, qui a ses propres faiblesses. Glass donne un exemple parlant. Question : quel animal grogne sur l'enregistrement ?

Que sait-on sur Le même problème avec les images ?

Une logique similaire apparaît dans le traitement des images. L'étude IPLoc montre que même des modèles récents comme GPT-4o peinent à localiser un objet précis sur une image lorsqu'ils ne disposent que de quelques exemples. Les auteurs ont imaginé un entraînement avec remplacement des noms : par exemple, le mot « avion » était remplacé par le prénom « Elizabeth ». Le modèle ne peut pas s'appuyer sur ce qu'il sait déjà des avions et doit observer plus attentivement le contexte visuel.

Que sait-on sur Travailler sans budget démesuré ?

L'équipe reconnaît qu'elle n'a pas les ressources pour entraîner son propre modèle fondation géant. Les chercheurs adaptent donc des modèles ouverts grâce à des méthodes faiblement supervisées, qui demandent moins de données annotées. Un exemple est l'apprentissage par renforcement au moment de l'inférence (test-time reinforcement learning). Le projet n'a pas d'approche unique : selon Glass, « mille fleurs s'épanouissent ».

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…