Gemini 2.5 Flash заменяет оценщиков-людей при тестировании голосовых агентов

Группа исследователей опубликовала 10 июля 2026 года на arXiv работу с оценкой надёжности моделей Gemini в роли автоматических аудиосудей (LALM, Large Audio Language Model) для full-duplex голосовых агентов: модели слушают сырую стерео-запись разговора и выставляют оценки качества без промежуточной транскрипции.

Как устроен эксперимент

В качестве эталонной модели выбрана Gemini 2.5 Flash, которую сравнивали с тремя калиброванными людьми-оценщиками на корпусе из 209 стерео-сессий. Корпус делится на два блока: 152 реальных full-duplex разговора по 13 стратам акцента и условий записи, а также 57 клипов с намеренно внедрёнными дефектами — для проверки чувствительности модели к конкретным ошибкам агента.

Каждая сессия оценивается по 8 производственным параметрам качества — среди них естественность речи, своевременность реакции, перебивание, понимание.

Ключевые числа датасета:

• 209 стерео-сессий, включая 57 с искусственными дефектами
• 13 страт по акценту и условиям записи
• 8 параметров качества (production dimensions)
• 3 калиброванных человека-оценщика
• Параллельно протестированы Gemini 3.5 Flash и Gemini 3.1 Pro

Насколько Gemini согласуется с людьми?

Авторы применяют три независимых теста, и Gemini 2.5 Flash проходит их согласованно.

Ранговая корреляция: на 5 из 8 параметров разница между коэффициентом Спирмена «модель — человек» и коэффициентом «человек — человек» не превышает 0,07. На 7 из 8 параметров 95-процентные бутстрап-интервалы пересекаются — статистически значимой разницы нет.

Простое совпадение оценок: на 6 из 8 параметров модель расходится со средней оценкой трёх людей не более чем на 1 балл в 60–92% сессий.

Чувствительность к дефектам: в 45 из 48 ячеек «тип дефекта × параметр» модель не хуже людей выявляет намеренно внедрённые ошибки. Авторы оговариваются: большинство ячеек статистически слабо обеспечены, поэтому результат следует читать как «не хуже», а не «доказанно эквивалентно».

Что меняется при смене модели

Gemini 3.5 Flash улучшает простое совпадение с людьми до 8 из 8 параметров — что делает её потенциально более подходящей для автоматической оценки.

Однако Gemini 3.1 Pro, несмотря на схожую ранговую корреляцию, систематически занижает оценки по нескольким параметрам по сравнению с людьми. Авторы формулируют принципиальный вывод: высокая ранговая корреляция не гарантирует правильной калибровки. При переходе с одной модели на другую необходима отдельная валидация на калибровочном наборе — переносить выводы с одной версии Gemini на другую автоматически нельзя.

Что это значит

Работа даёт эмпирическое обоснование для замены части людей-оценщиков на Gemini при производственном тестировании голосовых агентов: стоимость автоматической оценки примерно в 100 раз ниже человеческой при сопоставимом качестве на большинстве параметров. Для команд, разрабатывающих голосовых AI-ассистентов с full-duplex поддержкой, это может означать существенное снижение расходов на контроль качества — при условии тщательной калибровки конкретной модели.

Частые вопросы

Насколько дешевле оценивать голосовых агентов с помощью

Gemini?

По оценке авторов, стоимость автоматической LALM-оценки примерно в 100 раз ниже стоимости человеческой при сопоставимом качестве производственного тестирования.

Что происходит при замене

Gemini 2.5 Flash на другую версию семейства?

Gemini 3.5 Flash повышает простое совпадение с людьми до 8 из 8 параметров. Gemini 3.1 Pro, напротив, систематически занижает оценки по нескольким параметрам, хотя ранговая корреляция остаётся сопоставимой. Авторы рекомендуют заново калибровать любую новую модель, не полагаясь только на метрики ранжирования.