Hume AI открыла API, которое отвечает на вопросы по записи голоса: 70,7% совпадений с людьми

Знакомая боль любого, кто делал голосовых агентов или аналитику звонков: транскрипт теряет половину смысла. Текст не покажет, что клиент вздохнул, раздражённо повысил тон или что на фоне плачет ребёнок. Обычно это лечат отдельными классификаторами эмоций, шума и диаризации, каждый со своей разметкой и своим дообучением. Hume AI предлагает заменить этот зоопарк одной моделью.

Что именно выпустили

Продукт называется Audio Decisions. На вход подаётся запись, ваш вопрос к ней и список допустимых ответов. На выходе вы получаете вероятности по этим ответам и оценку уверенности. Форматов ответа четыре: да или нет, выбор из вариантов, шкала оценок и отрезок времени внутри записи — например, когда человек смеётся или вздыхает.

Спрашивать можно про язык и речь, число и смену говорящих, эмоции, акустическую обстановку, неречевые события, динамику разговора, намерение клиента и исход звонка, а также социальные сигналы. Набор вопросов меняется по запросу, без дополнительной разметки и дообучения. Порог уверенности привязывается к правилам заказчика: скажем, передавать звонок человеку, только если модель уверена в раздражении хотя бы на 80%.

Как это выглядит на примере

Hume приводит сценарий из розницы. Голосовой агент разговаривает с покупателем и параллельно задаёт аудиомодели вопросы: звучит ли неуверенность, слышно ли раздражение, сколько людей говорит, есть ли фоновый шум, чего хочет покупатель. Эти ответы вместе с транскриптом уходят в языковую модель, и уже она решает: подождать, уточнить или передать разговор оператору.

Архитектурно схема разумная. Аудиомодель работает как «уши» со структурированным выходом, LLM — как голова, которая принимает решение. Учить языковую модель слушать не нужно, достаточно кормить её понятными сигналами.

По заявлению компании, на живом звонке модель отвечает на десятки вопросов каждые несколько секунд, а архив из 40 тысяч записей становится доступным для поиска за минуты. Для контроля качества в контакт-центре это шанс перейти от выборочной проверки малой доли звонков к проверке всех.

Что с качеством

Hume сравнивает модель с Gemini 3.8 Flash, Qwen3.8-Omni-Flash, Inkling-Small, gpt-audio-1.5, Gemini 3.5 Flash Lite и Nemotron 3 Nano Omni и ставит себя впереди всех. В сравнении с людьми модель совпала со средним мнением группы слушателей в 70,7% случаев, а отдельный оценщик — в 56,5%. Иными словами, модель ближе к консенсусу, чем случайно взятый человек.

Аргумент сильный, но с оговорками. Бенчмарки опубликовала сама компания, а состав вопросов и данных из анонса не ясен. К тому же 70,7% — это далеко не 99%. Эмоции и намерения субъективны, и даже люди в них расходятся. Для задач вроде юридически значимой оценки сотрудника такая точность — повод оставить человека в контуре.

Что делать разработчику и продакту

Доступ пока только по заявке в листе ожидания, цена — 47 центов за миллион входных токенов. Аудио токенизируется плотно, а поток звонков большой, поэтому прикидывайте стоимость на своих объёмах заранее.

Практический план:

• если у вас есть контакт-центр или голосовой агент, соберите 100–200 своих звонков с экспертной оценкой и проверьте модель на них, а не на демо;
• сравните результат с Gemini или gpt-audio на тех же вопросах: мультимодальные модели тоже умеют отвечать на такие вопросы промптом, но без заявленной калибровки уверенности;
• заранее продумайте пороги: что уходит человеку, а что обрабатывается автоматически.

Если заявленные цифры подтвердятся на ваших данных, Audio Decisions закрывает самую неприятную часть проекта — разметку и поддержку россыпи узких классификаторов. Если нет, вы потеряете пару вечеров на тест и сохраните трезвое понимание, где у голосовой аналитики реальный потолок.