Бенчмарк разговорных моделей: GPT Realtime и Gemini отвечают почти на каждой паузе

Разговорная модель на каждой паузе решает, говорить ей или подождать. Существующие тесты проверяют определение границ реплик, соблюдение правил или агрегированную статистику, но не само это решение. Авторы препринта arXiv:2610.12802 измерили его напрямую. Они поставили шесть систем реального времени перед 427 паузами и 482 концами реплик из 176 неподготовленных разговоров датасета Seamless Interaction. Облачные API (GPT Realtime, Gemini 3.1 Flash Live, Grok Voice) отвечают почти на каждой паузе. Молчать умеют в основном полнодуплексные Moshi и PersonaPlex.

Как устроен тест

Каждой системе давали историю разговора до выбранной точки. Затем сравнивали то, что она генерирует, с тем, что сделал человек. Оценок несколько, и каждая отвечает на свой вопрос:

• говорит ли модель на паузе и как быстро;
• задержка, длина и формулировки ответа в конце реплики;
• способность ответить на вопрос о предыдущих 30–120 секундах разговора.

Главное отличие от привычных бенчмарков в том, что эталоном служит живое поведение собеседника. Тест не сверяется с абстрактным правилом «пауза больше 700 мс значит можно говорить».

Кто и когда вступает в разговор

Облачные системы отвечают почти на каждой паузе, какой бы детектор конца реплики в них ни стоял. От детектора зависит только задержка. С детекторами на основе тишины она составляет примерно 1–4 секунды, с семантическим определением конца реплики около 8 секунд. Получается, что слова попадают внутрь паузы или нет только по времени. Модель не выбирает, стоит ли вообще говорить.

Полнодуплексные Moshi и PersonaPlex ведут себя иначе. Только они регулярно остаются молчаливыми и только они вклиниваются в пределах времени человеческой реакции. Облачные системы к тому же отвечают длиннее самого человека.

Цена хорошей манеры: память

На вопросах о прошлом разговоре картина обратная. Облачным системам история подавалась как текст, и они вспоминают 41–60% фактов по оценке судьи Claude Opus 5.5. По строгому сопоставлению слов результат ниже: 19–26%. Полнодуплексные модели слушают историю как аудио и вспоминают 17–22% фактов по судье и 12–15% по строгому матчеру. Выходит, что естественный ритм пока достигается ценой памяти, а память облачных систем получена за счёт того, что они вовсе не слушают, а читают.

Стоит учитывать и условия сравнения. Форматы входа у групп моделей разные: текст в одном случае, аудио в другом. Поэтому разрыв нельзя целиком приписывать архитектуре.

Авторы публикуют метки, точки отбора, тестовый стенд и каждый выход моделей. Результаты можно перепроверить и добавить в сравнение новые системы.

Если вы строите голосового ассистента на облачном API, смотрите не только на среднюю задержку. Проверьте, умеет ли система промолчать на паузе, где человек просто думает. Тип детектора конца реплики задаёт компромисс: 1–4 секунды с тишиной против около 8 с семантическим детектором. Если для продукта важна память о разговоре, пока что надёжнее текстовая история. Если важен ритм, придётся смотреть на полнодуплексные модели и мириться с их более слабым пересказом прошлого. Набор данных и стенд из релиза подходят, чтобы прогнать собственную связку на реальных паузах, а не на синтетических.