ElevenLabs подключила голосовых NPC к Unity за 10 минут настройки

Голосовой NPC в Unity обычно начинается как занятный прототип, а заканчивается знакомым клубком из микрофона, сетевого соединения, воспроизведения звука и синхронизации с игровым состоянием. ElevenLabs собрала эти части в отдельный Unity SDK для ElevenAgents. Игрок подходит к персонажу, говорит вслух, а тот отвечает голосом, знает о событиях сцены и при необходимости вызывает игровой код.

Компания утверждает, что стартовый пример можно запустить примерно за 10 минут. Это не обещание готового персонажа для релиза, но хороший способ быстро проверить главную продуктовую гипотезу: захочет ли игрок вообще разговаривать с NPC, а не выбирать заранее написанные варианты ответа.

Как устроен разговор

Разработчик создаёт голосового агента в панели ElevenLabs и передаёт его идентификатор при запуске сессии. SDK открывает соединение, готовит аудиоустройства и выбирает подходящий транспорт. В редакторе и десктопных сборках используется WebSocket, а в WebGL доступны WebSocket или WebRTC.

Простой сценарий выглядит так: вокруг персонажа размещается триггер. Когда игрок входит в его область, игра вызывает StartSessionAsync; когда выходит — EndSession. Голос по умолчанию воспроизводится как обычный двумерный звук, но разработчик может передать собственный AudioSource, чтобы реплика звучала из позиции персонажа.

SDK также возвращает текущую громкость ответа в диапазоне от 0 до 1. Этого уже достаточно для грубой анимации рта, свечения индикатора или движения модели. Полноценную синхронизацию губ функция не заменяет, зато позволяет собрать понятный прототип без отдельного конвейера лицевой анимации.

Один агент — несколько персонажей

Необязательно создавать отдельного агента для каждого NPC. При запуске сессии игра может передать динамические переменные: например, цвет, профессию или настроение персонажа. Эти значения подставляются в системные инструкции и первую реплику. Более заметные различия можно задавать через временные переопределения голоса и настроек агента, если они заранее разрешены в параметрах безопасности.

Представим двух трактирщиков на одной сцене. Оба используют один базовый сценарий разговора, но первый получает переменные «спокойный» и «дружелюбный», а второй — «раздражённый» и «подозрительный». Экономия здесь не только в количестве конфигураций: общие правила поведения можно менять централизованно, сохраняя различия между персонажами.

Игровые события передаются через SendContextualUpdate. Если игрок нашёл ключ от подвала, агент узнает об этом без искусственной реплики от имени игрока. Обратная связь работает через клиентские инструменты: агент может запросить открытие двери, запуск задания или выдачу предмета, а зарегистрированный обработчик выполнит действие и вернёт результат.

Это важная граница архитектуры. Модель предлагает действие, но исполняет его игра. Значит, обработчик должен самостоятельно проверять права, состояние сцены и допустимость параметров. Нельзя позволять текстовой модели напрямую менять инвентарь или прогресс только потому, что она сформировала убедительный вызов функции.

Что учитывать перед релизом

Редактор, Windows, macOS, Linux и WebGL заявлены как поддерживаемые платформы. iOS, Android и XR пока находятся в бете. На мобильных устройствах нужно отдельно запросить разрешение на микрофон. Для WebGL требуется включить WebAssembly.Table; кроме того, браузерное воспроизведение имеет ограничения: часть настроек AudioSource не переносится в Web Audio API, а WebRTC игнорирует переданный OutputAudioSource.

Главное ограничение связано с безопасностью. Для первого локального теста ElevenLabs предлагает отключить аутентификацию и подключаться по идентификатору агента. В опубликованной игре так делать нельзя. Сервер разработчика должен получать короткоживущий подписанный URL и передавать его клиенту. API-ключ ElevenLabs нельзя помещать в сборку: его смогут извлечь и использовать за ваш счёт.

Практический вывод простой: SDK подходит для быстрого вертикального прототипа разговорного персонажа. Начните с одного NPC и одного проверяемого действия, например открытия двери. Затем измерьте задержку ответа, стоимость сессии, частоту ошибок и долю игроков, которые действительно пользуются голосом. Если механика работает, добавляйте память, анимацию и новые инструменты — но оставляйте окончательную проверку игровых действий внутри собственного кода.