ElevenLabs добавила голосовым агентам память и роутинг моделей: итоги Summit NYC

Голосовой агент, который перебивает клиента, забывает его через минуту после звонка и зовёт дорогую модель на любую реплику, — знакомая боль всех, кто делал поддержку на LLM. На нью-йоркском Summit 11 ноября ElevenLabs показала набор обновлений, который бьёт ровно в эти места. Часть уже доступна, часть пока в превью.

Interaction Engine: кто говорит и какая модель думает

Самое интересное для инженеров — Interaction Engine, он пока показан в превью. Он отвечает за ритм диалога: когда агенту вступить, а когда замолчать, если человек его перебил. Вторая функция — выбор LLM под конкретный кусок разговора. Дешёвая модель делает триаж и держит расход токенов в рамках, а фронтирная подключается, когда задача усложняется.

Идея не новая: многие команды вручную собирают роутер из нескольких моделей. Но если ElevenLabs возьмёт на себя и тайминг реплик, и маршрутизацию, это снимет с команды целый слой самописной обвязки. Бенчмарков, цен и дат релиза компания не привела, так что проверять придётся на своих звонках.

Память и Routines: агент помнит и доделывает работу после звонка

В ElevenAgents появится Memory. После каждого разговора агент сжимает его в структурированную запись и дополняет её, когда клиент возвращается. CRM остаётся основным источником правды, а Memory ловит то, для чего в CRM нет поля: предпочтения, ограничения, поводы. Пример из презентации: клиент говорит по-испански и может общаться только после 17:00 — агент запомнит и учтёт. Абонент, сообщивший в марте о переезде, в апреле не повторяет это: агент сам предложит перенести услугу на новый адрес и закроет старый.

Для продакта тут два вопроса: что именно агент имеет право запоминать и как клиент об этом узнаёт. В анонсе речь идёт о возвращающемся аутентифицированном клиенте, и это разумное ограничение.

Routines — слой автоматизации вокруг разговора: многошаговые сценарии до, во время и после звонка. Примеры: предварительно проверить заявителя на ипотеку и перезвонить в течение нескольких минут; напомнить пациентам о визите и предложить освободившийся слот из листа ожидания; отправить отчёт по почте, записать данные в CRM, начать звонок. Всё это внутри ElevenAgents, без отдельного набора сервисов. Среди клиентов платформы названы Yahoo, Westgate и KPN.

Файнтюн, ElevenAI и экосистема

ElevenLabs уже делает отраслевые модели распознавания речи. Scribe v3 Medical различает похожие названия лекарств — циклосерин и циклоспорин, то есть лечение туберкулёза и иммунодепрессант. Следом обещана модель для финансов. Новое: «в ближайшие месяцы» компания поможет файнтюнить некоторые открытые языковые модели и собственные голосовые модели на данных живых развёртываний. Метрику выбирает бизнес — например CSAT или надёжность, — а исследователи ElevenLabs помогают с обучением. CEO Мати Станишевский сравнил это с собственным RL-стеком у каждой компании. Условий, цен и списка моделей пока нет.

Отдельно показан ElevenAI — приложение-«коллега» для сотрудников: диктовка и заметки со встреч на основе Scribe v3, включая очные встречи, с резюме и задачами для каждого участника. Согласие участников встроено. Бесплатный ранний доступ открыт с 11 ноября.

На стороне внедрения: Partner Program (более 550 партнёров в 44 странах, среди них Google Cloud, IBM, Deloitte, Genesys), альянс с McKinsey и QuantumBlack и Marketplace с отраслевыми приложениями. Покупать агентов через него можно будет со следующего года за счёт существующего контракта с ElevenLabs. С NVIDIA расширено партнёрство: Nemotron 3.5 Super VL доступна в ElevenAgents, добавляется 15 МВт мощностей Vera Rubin, а для польской национальной платформы e-Health готовят локальный голосовой агент для записи к врачу пациентов, у которых есть только стационарный телефон.

Что с этим делать

Если вы строите голосовых агентов, пересмотрите три вещи: где у вас живёт память о клиенте помимо CRM, разделены ли модели по сложности шага и кто делает постобработку звонка. Почти всё из списка — «скоро» или превью, поэтому оценивать стоит по метрикам собственных звонков (доля переводов на человека, CSAT, стоимость разговора), а не по сцене.

И последнее — зависимость от вендора. Файнтюн «вместе с исследователями ElevenLabs» и покупки через маркетплейс глубже привязывают вас к одной платформе. Для быстрого старта это удобно, но выход из неё лучше продумать заранее.