Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуMIT News→ оригинал

Аудио-ИИ набирает баллы в тестах даже на случайном шуме, нашли MIT и IBM

Аудио-модели на тестах с вариантами ответа часто не слушают запись, а угадывают ответ по тексту. Пример команды MIT и IBM: на вопрос, какое животное рычит, даны варианты «бурундук, лев, аллигатор, синица», и модель просто берёт «лев». Если вместо записи подать случайный шум, баллы остаются неплохими. Поэтому в тесты аудио-моделей добавляйте шум и тишину: если балл не упал, тест проверяет не слух.

AI-обработка оригинала MIT News; редакция Hamidun News
Аудио-ИИ набирает баллы в тестах даже на случайном шуме, нашли MIT и IBM
Источник: MIT News. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMIT News ↗
Главный редактор
Ключевой факт #1IPLoc подменяет «самолёт» именем «Элизабет», чтобы модель смотрела на картинку
Проект MIT-IBM идёт много леткоманда выпустила около двух десятков статей
Ключевой факт #3Дальше команда возьмётся за модели, которые слушают во время своей речи

Представьте, что вы выбираете аудио-модель для голосового продукта и смотрите на её результаты в бенчмарках. Балл высокий, значит, модель хорошо понимает звук? Не обязательно. Команда MIT-IBM Computing Research Lab, которую возглавляет Джим Гласс, старший научный сотрудник лаборатории CSAIL в MIT, обнаружила, что многие аудио-модели в тестах с вариантами ответа вообще не слушают запись. Они угадывают правильный ответ по тексту вопроса. Если вместо звука подать случайный шум, результаты всё равно остаются неплохими.

Модель, которая «слушает» без звука

Речь о моделях, которые умеют воспринимать аудио и рассуждать о нём. Проверять их чаще всего просто: задают вопрос и дают несколько вариантов ответа. Так дешевле, чем оценивать свободные ответы. Свободный ответ пришлось бы проверять либо людьми, а это дорого и долго, либо другой языковой моделью в роли судьи, у которой есть свои слабости.

Гласс приводит наглядный пример. Вопрос: какое животное рычит на записи? Варианты: бурундук, лев, аллигатор, синица. Модель не вслушивается в звук, а видит слово «лев» среди вариантов и выбирает его. Исследователи убедились в этом, подав вместо записи случайный шум. Модели по-прежнему справлялись довольно хорошо, значит, они опирались на текст вопроса.

В статье OmniR1 команда предложила способы заставить модель внимательнее относиться к звуку и меньше полагаться на подсказки в вопросе. Практический вывод для тех, кто оценивает аудио-модели: добавьте в проверку контрольные случаи с шумом или тишиной. Если балл почти не упал, ваш тест измеряет не то, что нужно. Ещё полезно сравнивать модель на разных типах бенчмарков, а не на одном.

Та же проблема с картинками

Похожая логика видна и в работе с изображениями. Исследование IPLoc показало, что даже современные модели вроде GPT-4o плохо находят конкретный объект на картинке, если им дали всего несколько примеров. Авторы придумали обучение с подменой названий: например, слово «самолёт» заменяли именем «Элизабет». Модель не может опереться на то, что уже знает про самолёты, и вынуждена внимательнее смотреть на визуальный контекст.

Есть и другая идея: у модели иногда уже есть нужное внутреннее представление, но оно пропадает после последующего дообучения. Поэтому часть работы посвящена тому, чтобы такие способности «вернуть» без новой разметки.

Как работать без огромного бюджета

Команда признаёт, что обучить собственную гигантскую фундаментальную модель у неё нет ресурсов. Поэтому исследователи берут открытые модели и адаптируют их методами со слабым контролем, которым нужно меньше размеченных данных. Один из примеров — обучение с подкреплением на этапе применения модели (test-time reinforcement learning). Единого подхода у проекта нет: по словам Гласса, «тысяча цветов цветёт». В работе участвовали также Рожерио Ферис, Брайан Кингсбери и Сэмюэл Томас из IBM Research и Хильде Куне из Тюбингенского университета.

Начинался проект с простого: модели показывали пары «картинка и звуковое описание» и несовпадающие пары. Так модель сама научилась связывать звучание слова «маяк» с изображением маяка, без текста. Потом добавили видео и общий звук: модель различала, как звучат попугаи, электрогитары и акустические гитары. Позже подключили большие языковые модели. За годы команда выпустила около двух десятков заметных совместных статей и публикует открытые бенчмарки.

Что дальше и какие есть ограничения

В ближайший год команда сместит фокус на полнодуплексные диалоговые системы. Это модели, которые слушают, пока говорят, как люди, а не ждут своей очереди. Гласс считает, что общаться с такими голосовыми ИИ будет естественнее. Пока открытые модели такого типа уступают большим языковым моделям: базовые навыки общения у них есть, но им не хватает понимания времени и глубины знаний.

Важная оговорка: это интервью, а не статья с таблицей результатов. Цифр о том, насколько просел балл на шуме, в нём нет. Тем не менее предупреждение стоит учесть: высокий результат аудио-модели на тесте с выбором ответа ещё не доказывает, что она что-то услышала.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: модель, которая «слушает» без звука?

Речь о моделях, которые умеют воспринимать аудио и рассуждать о нём. Проверять их чаще всего просто: задают вопрос и дают несколько вариантов ответа. Так дешевле, чем оценивать свободные ответы. Свободный ответ пришлось бы проверять либо людьми, а это дорого и долго, либо другой языковой моделью в роли судьи, у которой есть свои слабости. Гласс приводит наглядный пример. Вопрос: какое животное рычит на записи? Варианты: бурундук, лев, аллигатор, синица.

Что известно по теме: та же проблема с картинками?

Похожая логика видна и в работе с изображениями. Исследование IPLoc показало, что даже современные модели вроде GPT-4o плохо находят конкретный объект на картинке, если им дали всего несколько примеров. Авторы придумали обучение с подменой названий: например, слово «самолёт» заменяли именем «Элизабет». Модель не может опереться на то, что уже знает про самолёты, и вынуждена внимательнее смотреть на визуальный контекст.

Что известно по теме: как работать без огромного бюджета?

Команда признаёт, что обучить собственную гигантскую фундаментальную модель у неё нет ресурсов. Поэтому исследователи берут открытые модели и адаптируют их методами со слабым контролем, которым нужно меньше размеченных данных. Один из примеров — обучение с подкреплением на этапе применения модели (test-time reinforcement learning). Единого подхода у проекта нет: по словам Гласса, «тысяча цветов цветёт».

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…