GPTunneL вывела голосового GROM в прямой эфир: что сломалось за 3 часа хакатона

Голосовой ассистент за общим столом — идея понятная, пока не доходит до живого эфира. Команда GPTunneL проверила её на хакатоне «Новые города» в «Большом Физтехе»: три часа GROM слушал экспертов, школьников и студентов, которые придумывали посёлок будущего, и отвечал на вопросы вслух. Получилось неидеально, зато разбор честный.

Как это устроено

Wake-word не делали. Речь с микрофона распознавали, смотрели на первое слово реплики, и если это «Гром», текст уходил в модель. Ответ озвучивал синтезированный голос Филиппа, который разработали в той же команде. На репетиции GROM сам встревал в разговор и перебивал идеи, поэтому к эфиру его перевели в режим «говорит, только если позвали».

Главная сложность в том, что люди почти всё время говорят друг с другом, а не с ассистентом. Чтобы GROM знал, до чего договорились, эфир обрабатывали отдельным конвейером. vMix каждые пять минут сохранял видеофайл, Resilio переносил его на второй компьютер, локальный Whisper делал расшифровку, а Claude Sonnet обновлял конспект: кто что предложил, что решили, что осталось открытым. Свежий конспект подставляли в системную инструкцию GROM. Sonnet выбрали потому, что его конспекты команда уже много раз проверяла.

Где всё поплыло

Первый сбой — потерянные пятнадцать минут. Когда несколько файлов приходили одновременно, обработчик брал самый свежий, а очереди у него не было. После восьмого файла шёл двенадцатый, и фрагменты с девятого по одиннадцатый обрабатывали руками.

Второй — имена. Whisper не получил список названий, и GPTunneL превратился в GPTanal. Хуже оказалась разметка спикеров: в каждом файле нумерация начиналась заново, и «Спикер 1» в соседних фрагментах мог быть двумя разными людьми.

Третий — контекст. Долгий спор о том, будет ли у наставника борода, забил историю диалога. Через девять минут на вопрос о том, может ли человек прожить меньше без общения, GROM снова начал про бороду. Инженер очистил историю прямо в эфире, а решение о внешности героя осталось в отдельном конспекте, так что по существу ассистент ничего не потерял.

Что взять на заметку

Для разработчиков урок такой: долгая память ассистента — это не большой контекст, а дисциплина. Сырой диалог стоит отделять от выжимки решений: историю можно чистить, конспект остаётся. Это дешёвый приём, и он сработал в живом эфире.

Конвейеру из кусков нужна очередь, а не логика «берём последнее». Для распознавания нужен словарь имён и терминов до старта. Для нескольких говорящих нужна сквозная идентификация спикеров: команда собирается проверить голосовые эмбеддинги и сравнить результат с ручной разметкой.

Ограничения тоже видны. Это пилот на одном мероприятии, метрик качества ответов нет, часть работы шла вручную, а надпись на дирижабле видеомодель так и не сгенерировала, её добавили на монтаже. Ответы шли в эфир без редактуры, поэтому неудачный момент с бородой остался в записи на 55:03.

Дальше планы такие: в ноябре снова выйти на офлайн-мероприятия с очередью и словарём, связать ассистента с редактором Workflow, чтобы можно было сказать «Гром, переделай вечернюю сцену», и искать ресурсы на запуск на устройствах. Для этого нужны видеокарты и железо для тестов, команда обсуждает это с инвесторами. Для продактов вывод простой: ценность голосового интерфейса в групповой беседе не в ответе на вопрос, а в знании контекста всей встречи. Именно эту часть и стоит строить первой.