Inworld открыла код Voice Isolator: модель чистит голос от шума в реальном времени
Запись интервью, созвон из кафе или голосовой агент на шумной улице — везде мешают чужие голоса, музыка и эхо. Inworld выложила в опенсорс модель Voice Isolator, которая делит звук на две дорожки: чистый голос и всё остальное. Работает в реальном времени на частоте 48 кГц и сохраняет даже дыхание говорящего, а обучали её на 10 тысячах часов речи. Для голосовых продуктов это готовый блок предобработки, который стоит проверить на своих записях.
AI-обработка оригинала TG: @notboring_tech (Not Boring Tech); редакция Hamidun News
Любой, кто делал голосовой продукт, знает эту проблему: в лаборатории всё работает идеально, а в реальной жизни пользователь говорит из кафе, из машины или из офиса, где за спиной обсуждают чужие дела. Распознавание речи начинает путать слова, синтез и клонирование голоса получают грязный образец, а подкаст или интервью приходится долго чистить руками. Теперь у разработчиков есть ещё один открытый инструмент для этой задачи: Inworld выложила в опенсорс модель Voice Isolator.
Что умеет модель
Идея простая: на входе обычная запись, на выходе две дорожки. Первая содержит только голос говорящего. Вторая — всё остальное: музыку, шум, эхо и посторонние голоса. Такой подход удобен тем, что не нужно заранее знать, какой именно шум мешает. Фоновые разговоры, играющий в кафе плейлист и гул кондиционера попадают в одну «остальную» дорожку.
По описанию авторов, модель сохраняет не только слова, но и характер исходной записи, включая дыхание. Это важная деталь. Многие шумоподавители заметно «стерилизуют» речь: убирают вдохи и паузы, и голос звучит как из банки. Для озвучки, подкастов и голосовых ассистентов живое дыхание делает звук естественнее.
Работает модель в реальном времени на частоте дискретизации 48 кГц. Это студийное качество звука, которого хватает для музыки и профессиональной речи. Обычная телефония обходится 8–16 кГц. Обработка в реальном времени означает, что модель можно поставить в живой звонок или стрим, а не только прогонять по готовым файлам. Обучали её на 10 тысячах часов речи.
Где это пригодится на практике
Первый очевидный сценарий — голосовые агенты. Если бот принимает звонки или общается через микрофон в шумной среде, чистая дорожка на входе обычно улучшает работу распознавания речи. Чем меньше посторонних голосов слышит система, тем реже она принимает реплику соседа за команду пользователя.
Второй сценарий — подготовка данных. Тем, кто собирает образцы голоса для синтеза или клонирования, нужны чистые записи. Раньше приходилось выбирать между платными облачными сервисами и сложными пайплайнами. Открытая модель позволяет прогнать архив у себя и не отправлять записи третьим лицам. Это особенно полезно, когда в записях есть чужие персональные данные.
Третий — работа с контентом: интервью, видео, стримы и подкасты. Отделить голос от музыки или шума стало проще, не нужно покупать отдельный сервис ради одной операции.
Что пока неизвестно
В исходном сообщении нет сравнительных замеров. Мы не знаем, насколько модель лучше или хуже других открытых и коммерческих решений, как она ведёт себя на сильных шумах, при перекрывающейся речи двух людей или на акцентах. Не названы требования к железу, задержка на обычных процессорах и видеокартах, а также условия лицензии. Для продакшна эти параметры критичны.
Заявление «работает в реальном времени» тоже стоит проверить на своём оборудовании. Модель может укладываться в реальное время на мощной видеокарте и не успевать на слабом ноутбуке или мобильном устройстве.
Что делать разработчику
Практичный план такой: взять репозиторий inworld-ai/voice-isolator на GitHub, прочитать лицензию и прогнать 20–30 своих реальных записей: с улицы, из машины, из открытого офиса. Затем сравнить результат распознавания речи с очисткой и без неё. Если ошибок в словах становится заметно меньше, а голос не звучит искусственно, модель можно встраивать как первый шаг обработки. Если нет, вы потратите на проверку пару часов и узнаете это до интеграции.
Сам факт релиза показывает, что открытые инструменты для работы со звуком быстро догоняют платные облачные API. Для команд, которые делают голосовые продукты, это ещё один повод держать предобработку звука у себя.
- 22 нояб. 2026 г.Агенты пишут рабочий код в 95% задач, но оставляют уязвимость в большинстве
- 22 нояб. 2026 г.AWS Quick получил коннектор к Meta Ads: кампании и отчёты по текстовому запросу
- 21 нояб. 2026 г.Дизайнер без опыта в коде довёл ИИ-расширение для нарезки видео за 3 дня и 700 правок
- 21 нояб. 2026 г.Google научила Gemini делать GIF: 3 секунды, только 16:9 или 9:16, без петли
Вопросы и ответы по материалу
Что известно по теме: что умеет модель?
Идея простая: на входе обычная запись, на выходе две дорожки. Первая содержит только голос говорящего. Вторая — всё остальное: музыку, шум, эхо и посторонние голоса. Такой подход удобен тем, что не нужно заранее знать, какой именно шум мешает. Фоновые разговоры, играющий в кафе плейлист и гул кондиционера попадают в одну «остальную» дорожку. По описанию авторов, модель сохраняет не только слова, но и характер исходной записи, включая дыхание. Это важная деталь.
Что известно по теме: где это пригодится на практике?
Первый очевидный сценарий — голосовые агенты. Если бот принимает звонки или общается через микрофон в шумной среде, чистая дорожка на входе обычно улучшает работу распознавания речи. Чем меньше посторонних голосов слышит система, тем реже она принимает реплику соседа за команду пользователя. Второй сценарий — подготовка данных. Тем, кто собирает образцы голоса для синтеза или клонирования, нужны чистые записи. Раньше приходилось выбирать между платными облачными сервисами и сложными пайплайнами.
Что известно по теме: что пока неизвестно?
В исходном сообщении нет сравнительных замеров. Мы не знаем, насколько модель лучше или хуже других открытых и коммерческих решений, как она ведёт себя на сильных шумах, при перекрывающейся речи двух людей или на акцентах. Не названы требования к железу, задержка на обычных процессорах и видеокартах, а также условия лицензии. Для продакшна эти параметры критичны. Заявление «работает в реальном времени» тоже стоит проверить на своём оборудовании.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.