35-секундное голосовое в CRM превращается в текст за 9 секунд без видеокарты
Клиенты шлют голосовые вроде «а набор ещё есть и сколько доставка до Самары?», а менеджеру в шумном цеху их не послушать. Поэтому CRM для продаж в переписке показывает под плеером текст: его делает Whisper small на облачном сервере в России с 2 ядрами и без видеокарты. Голосовое на 35 секунд превращается в текст примерно за 9 секунд, а звук не уходит в зарубежные облака. Для небольшого потока так можно обойтись без платных API.
AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
Клиенты интернет-магазинов любят голосовые: «Здравствуйте, а вот этот набор ещё есть, и сколько доставка до Самары?» Менеджеру такое сообщение нужно прослушать, а в шумном цеху или во время созвона это неудобно. Команда CRM для продаж в переписке решила показывать под плеером готовый текст. Вся расшифровка идёт на обычном облачном сервере в России с двумя процессорными ядрами и без видеокарты: голосовое длиной 35 секунд превращается в текст примерно за 9 секунд, то есть почти в 4 раза быстрее, чем длится сама запись. Платить облачным сервисам распознавания за минуты аудио при этом не приходится, а звук клиента не покидает серверы компании.
Почему не взяли готовое
Первая мысль была использовать расшифровку самого мессенджера. У ВКонтакте она есть: в ответе API у вложения приходит поле с текстом. Но для сообщений сообщества оно оставалось пустым даже спустя несколько дней. У MAX, Telegram и WhatsApp, которые подключены через сервис-посредник, расшифровки нет совсем.
Облачные сервисы распознавания отпали по другой причине. Голосовое клиента — это персональные данные, и отправлять их на чужие серверы за границу команда не хотела. Поэтому всё должно работать на собственных серверах в России, а файлы нигде не сохраняются.
Что стоит под капотом
Для распознавания выбрали faster-whisper — реализацию модели Whisper на CTranslate2, которая заметно быстрее оригинала на обычном процессоре. Взяли версию модели small. На русской разговорной речи она ошибается в отдельных словах, но смысл передаёт уверенно, а менеджеру большего и не нужно.
Распознавание вынесли на отдельную машину, чтобы оно не отнимало процессор у самой CRM. Скорость дали четыре настройки:
- квантование весов (int8, то есть хранение чисел модели в сжатом виде) — главный выигрыш по скорости на процессоре;
- жадное декодирование вместо поиска по лучу: на коротких фразах качество почти не меняется;
- детектор голоса вырезает тишину и паузы, а их в голосовых много;
- язык задан явно, без автоопределения: так быстрее и меньше ошибок на коротких записях.
Грабли с декодированием звука
faster-whisper умеет сам открывать файлы через библиотеку PyAV, но на голосовых из мессенджеров это ломалось. На части файлов PyAV падал с ошибкой чтения метаданных, а форматы приходят разные: ogg, m4a, mp3.
Выход нашёлся простой: отдать декодирование программе ffmpeg и передать модели уже готовый массив звука — моно, 16 кГц, числа float32 от −1 до 1. Тогда формат исходного файла перестаёт иметь значение.
Скрипт построен по принципу «stdin → stdout»: звук приходит на вход, текст уходит на выход. Он ничего не знает ни про CRM, ни про мессенджеры, а файл не ложится на диск. Основной сервер вызывает его одной командой через curl и ssh.
Как это встроено в CRM
На основном сервере раз в минуту запускается задача cron. Она обёрнута в flock: если предыдущий запуск ещё работает, новый не стартует, и очередь не копится. Команда timeout на 600 секунд страхует от зависшего ssh или ffmpeg. За один проход обрабатывается не больше пяти голосовых, чтобы всплеск сообщений не забил сервер распознавания.
Задача находит входящие голосовые за последние 2 дня, у которых ещё нет текста, по очереди скачивает звук по ссылке мессенджера, отправляет на распознавание и записывает результат во вложение сообщения. Интерфейс CRM показывает текст под плеером, а в списке диалогов вместо «Голосовое сообщение» появляется «🎤 Здравствуйте, а вот этот набор…».
Для каждого сообщения ведётся счётчик попыток: если файл битый или ссылка протухла, после трёх неудач сообщение больше не трогают. Окно в 2 дня не даёт задаче перебирать всю историю переписки на каждом запуске. Текст появляется примерно через минуту после прихода голосового: до ближайшего запуска плюс несколько секунд на распознавание.
Ограничения и вывод
Честный минус схемы: модель загружается при каждом вызове. Для небольшого потока голосовых это приемлемо, но при большой нагрузке скрипт стоит превратить в постоянно работающую службу с очередью. Качество small на разговорной речи тоже не идеально: отдельные слова искажаются.
Рецепт для тех, кто хочет повторить: берите faster-whisper с int8 на процессоре, декодируйте звук через ffmpeg, а не через PyAV, и не храните файлы — для расшифровки они не нужны. Для малого и среднего бизнеса это пример, как закрыть задачу с персональными данными без видеокарты и оплаты за минуты аудио.
- 8 нояб. 2026 г.Три LLM теряют «сегодня» в 10–95% ответов при разборе заметок
- 30 апр. 2026 г.Amazon показала поиск по большим видеоархивам на естественном языке через Nova
- 21 нояб. 2026 г.Wavo на Rust расшифровывает час аудио за 18 секунд — в 200 раз быстрее реального времени
- 18 нояб. 2026 г.LLM на VPS без видеокарты: 4B-модели сортируют обращения с точностью 90% за 3–5 с
Вопросы и ответы по материалу
Что известно по теме: почему не взяли готовое?
Первая мысль была использовать расшифровку самого мессенджера. У ВКонтакте она есть: в ответе API у вложения приходит поле с текстом. Но для сообщений сообщества оно оставалось пустым даже спустя несколько дней. У MAX, Telegram и WhatsApp, которые подключены через сервис-посредник, расшифровки нет совсем. Облачные сервисы распознавания отпали по другой причине. Голосовое клиента — это персональные данные, и отправлять их на чужие серверы за границу команда не хотела.
Что известно по теме: что стоит под капотом?
Для распознавания выбрали faster-whisper — реализацию модели Whisper на CTranslate2, которая заметно быстрее оригинала на обычном процессоре. Взяли версию модели small. На русской разговорной речи она ошибается в отдельных словах, но смысл передаёт уверенно, а менеджеру большего и не нужно. Распознавание вынесли на отдельную машину, чтобы оно не отнимало процессор у самой CRM.
Что известно по теме: грабли с декодированием звука?
faster-whisper умеет сам открывать файлы через библиотеку PyAV, но на голосовых из мессенджеров это ломалось. На части файлов PyAV падал с ошибкой чтения метаданных, а форматы приходят разные: ogg, m4a, mp3. Выход нашёлся простой: отдать декодирование программе ffmpeg и передать модели уже готовый массив звука — моно, 16 кГц, числа float32 от −1 до 1. Тогда формат исходного файла перестаёт иметь значение. Скрипт построен по принципу «stdin → stdout»: звук приходит на вход, текст уходит на выход.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.