Аудио-ИИ набирает баллы в тестах даже на случайном шуме, нашли MIT и IBM
Аудио-модели на тестах с вариантами ответа часто не слушают запись, а угадывают ответ по тексту. Пример команды MIT и IBM: на вопрос, какое животное рычит, даны варианты «бурундук, лев, аллигатор, синица», и модель просто берёт «лев». Если вместо записи подать случайный шум, баллы остаются неплохими. Поэтому в тесты аудио-моделей добавляйте шум и тишину: если балл не упал, тест проверяет не слух.
AI-обработка оригинала MIT News; редакция Hamidun News
Представьте, что вы выбираете аудио-модель для голосового продукта и смотрите на её результаты в бенчмарках. Балл высокий, значит, модель хорошо понимает звук? Не обязательно. Команда MIT-IBM Computing Research Lab, которую возглавляет Джим Гласс, старший научный сотрудник лаборатории CSAIL в MIT, обнаружила, что многие аудио-модели в тестах с вариантами ответа вообще не слушают запись. Они угадывают правильный ответ по тексту вопроса. Если вместо звука подать случайный шум, результаты всё равно остаются неплохими.
Модель, которая «слушает» без звука
Речь о моделях, которые умеют воспринимать аудио и рассуждать о нём. Проверять их чаще всего просто: задают вопрос и дают несколько вариантов ответа. Так дешевле, чем оценивать свободные ответы. Свободный ответ пришлось бы проверять либо людьми, а это дорого и долго, либо другой языковой моделью в роли судьи, у которой есть свои слабости.
Гласс приводит наглядный пример. Вопрос: какое животное рычит на записи? Варианты: бурундук, лев, аллигатор, синица. Модель не вслушивается в звук, а видит слово «лев» среди вариантов и выбирает его. Исследователи убедились в этом, подав вместо записи случайный шум. Модели по-прежнему справлялись довольно хорошо, значит, они опирались на текст вопроса.
В статье OmniR1 команда предложила способы заставить модель внимательнее относиться к звуку и меньше полагаться на подсказки в вопросе. Практический вывод для тех, кто оценивает аудио-модели: добавьте в проверку контрольные случаи с шумом или тишиной. Если балл почти не упал, ваш тест измеряет не то, что нужно. Ещё полезно сравнивать модель на разных типах бенчмарков, а не на одном.
Та же проблема с картинками
Похожая логика видна и в работе с изображениями. Исследование IPLoc показало, что даже современные модели вроде GPT-4o плохо находят конкретный объект на картинке, если им дали всего несколько примеров. Авторы придумали обучение с подменой названий: например, слово «самолёт» заменяли именем «Элизабет». Модель не может опереться на то, что уже знает про самолёты, и вынуждена внимательнее смотреть на визуальный контекст.
Есть и другая идея: у модели иногда уже есть нужное внутреннее представление, но оно пропадает после последующего дообучения. Поэтому часть работы посвящена тому, чтобы такие способности «вернуть» без новой разметки.
Как работать без огромного бюджета
Команда признаёт, что обучить собственную гигантскую фундаментальную модель у неё нет ресурсов. Поэтому исследователи берут открытые модели и адаптируют их методами со слабым контролем, которым нужно меньше размеченных данных. Один из примеров — обучение с подкреплением на этапе применения модели (test-time reinforcement learning). Единого подхода у проекта нет: по словам Гласса, «тысяча цветов цветёт». В работе участвовали также Рожерио Ферис, Брайан Кингсбери и Сэмюэл Томас из IBM Research и Хильде Куне из Тюбингенского университета.
Начинался проект с простого: модели показывали пары «картинка и звуковое описание» и несовпадающие пары. Так модель сама научилась связывать звучание слова «маяк» с изображением маяка, без текста. Потом добавили видео и общий звук: модель различала, как звучат попугаи, электрогитары и акустические гитары. Позже подключили большие языковые модели. За годы команда выпустила около двух десятков заметных совместных статей и публикует открытые бенчмарки.
Что дальше и какие есть ограничения
В ближайший год команда сместит фокус на полнодуплексные диалоговые системы. Это модели, которые слушают, пока говорят, как люди, а не ждут своей очереди. Гласс считает, что общаться с такими голосовыми ИИ будет естественнее. Пока открытые модели такого типа уступают большим языковым моделям: базовые навыки общения у них есть, но им не хватает понимания времени и глубины знаний.
Важная оговорка: это интервью, а не статья с таблицей результатов. Цифр о том, насколько просел балл на шуме, в нём нет. Тем не менее предупреждение стоит учесть: высокий результат аудио-модели на тесте с выбором ответа ещё не доказывает, что она что-то услышала.
- 21 нояб. 2026 г.В тесте MLPerf впервые участвуют Nvidia Rubin и TPU Ironwood: 153 системы
- 21 нояб. 2026 г.Waymo убрала роботакси с автострад после новых заездов в зоны ремонта
- 21 нояб. 2026 г.Google открыла предзаказ на умные очки с Gemini от $395 — продажи с 10 декабря
- 21 нояб. 2026 г.Дата-центры в космосе пока убыточны: запуск дороже допустимого в 3–19 раз
Вопросы и ответы по материалу
Что известно по теме: модель, которая «слушает» без звука?
Речь о моделях, которые умеют воспринимать аудио и рассуждать о нём. Проверять их чаще всего просто: задают вопрос и дают несколько вариантов ответа. Так дешевле, чем оценивать свободные ответы. Свободный ответ пришлось бы проверять либо людьми, а это дорого и долго, либо другой языковой моделью в роли судьи, у которой есть свои слабости. Гласс приводит наглядный пример. Вопрос: какое животное рычит на записи? Варианты: бурундук, лев, аллигатор, синица.
Что известно по теме: та же проблема с картинками?
Похожая логика видна и в работе с изображениями. Исследование IPLoc показало, что даже современные модели вроде GPT-4o плохо находят конкретный объект на картинке, если им дали всего несколько примеров. Авторы придумали обучение с подменой названий: например, слово «самолёт» заменяли именем «Элизабет». Модель не может опереться на то, что уже знает про самолёты, и вынуждена внимательнее смотреть на визуальный контекст.
Что известно по теме: как работать без огромного бюджета?
Команда признаёт, что обучить собственную гигантскую фундаментальную модель у неё нет ресурсов. Поэтому исследователи берут открытые модели и адаптируют их методами со слабым контролем, которым нужно меньше размеченных данных. Один из примеров — обучение с подкреплением на этапе применения модели (test-time reinforcement learning). Единого подхода у проекта нет: по словам Гласса, «тысяча цветов цветёт».
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.