Nuance Labs запустила аватар Emma, который кивает и реагирует прямо во время вашей речи

Почти любой видеоаватар, с которым вы разговаривали, работает как рация. Вы говорите, система ждёт тишины, расшифровывает речь, отправляет текст в языковую модель, озвучивает ответ, и только потом отдельная модель двигает губами. Задержка 1,5–3 секунды в такой схеме неизбежна. Пока аватар «думает», он смотрит в пустоту, и ощущение разговора пропадает.

Nuance Labs, американский стартап бывших исследователей Apple, пытается убрать саму рацию. На этой неделе компания показала базовую аудиовизуальную модель Nuplex 1.0 и запустила аватара Emma.

Что поменялось в архитектуре

Вместо цепочки из четырёх моделей Nuplex — одна сквозная нейросеть. Она воспринимает и генерирует звук и видео вместе. Система непрерывно считывает тон голоса, паузы и колебания собеседника и параллельно стримит речь и мимику.

В индустрии это называют полным дуплексом: слушать и говорить можно одновременно, как в живом разговоре. Раньше такое было в основном у голосовых моделей, а здесь к нему добавили лицо.

Как это выглядит на примере

Представьте, что вы рассказываете Emma о проблеме с заказом. В обычном аватаре вы говорите в пустоту, пока не замолчите. Emma кивает, меняет выражение лица, подаёт сигналы активного слушания вроде «угу» и «понятно». Всё это происходит прямо во время вашей речи, а не после неё. Для сервисов поддержки, обучения, онбординга и виртуальных собеседников это разница между «говорю с формой» и «говорю с человеком».

По внутреннему слепому бенчмарку Nuance Labs на 1785 тестовых вопросах Nuplex сравнялся со скоростью реакции живого человека в 89% случаев. Цифра интересная, но это тест самой компании. Методику и сравнение с конкурентами стоит проверять самим.

Доступ и меры безопасности

Emma открыта в вебе без регистрации и аккаунта, так что оценить качество можно за пару минут. Разработчикам дали предварительный доступ к Nuplex Live API. Цены, лимиты и точную задержку компания в анонсе не называет.

Запуск сопровождается ограничениями:

• внешность Emma лицензирована у реальной актрисы;
• потоки маркируются обязательными водяными знаками;
• прямое клонирование лиц и голосов третьих лиц заблокировано.

Для бизнеса это плюс с точки зрения рисков, но и ограничение: собственного «цифрового двойника» сотрудника или бренд-амбассадора через такой API пока не сделать.

Что с этим делать

Если вы строите голосового или видеоагента, в этой новости полезна сама идея. Главная проблема живого диалога — не качество картинки, а тайминг: когда вступить, когда промолчать, когда кивнуть. Каскад из STT, LLM и TTS этому структурно мешает, потому что каждый этап ждёт предыдущего.

Практический план такой:

• открыть Emma и проверить, как она ведёт себя при перебивании, паузах и неуверенной речи;
• сравнить ощущение от разговора с вашим текущим каскадным стеком;
• запросить доступ к Live API, если у вас есть сценарий, где важна естественность, а не только точность ответов.

Остаются вопросы, на которые анонс не отвечает. Насколько умна «голова» аватара в сложных задачах? Как модель держит контекст в долгом разговоре? Сколько стоит минута стрима? Сквозные модели обычно выигрывают в естественности, но уступают каскадам в управляемости: сложнее подключать инструменты, базы знаний и жёсткие сценарии. Пока это сильная демонстрация направления, а не готовая замена всему стеку. Но направление понятно: аватары перестают быть озвученными чат-ботами и становятся собеседниками.