Liquid AI выложила LiquidCodec: декодирует речь в 2,9 раза быстрее Mimi
Голосовой ассистент на телефоне не ответит быстро, если звук долго превращается в токены и обратно. Liquid AI выложила кодек LiquidCodec на 74 млн параметров: он декодирует секунду звука за 0,0115 секунды, то есть в 2,9 раза быстрее Mimi (0,0329 с). Качество по метрике ViSQOL на LibriSpeech тоже выше: 4,319 против 4,031 у Mimi. Если ваш голосовой стек упирается в задержку, кодек стоит прогнать на своём железе.
AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Представьте голосового ассистента, который работает прямо на телефоне или ноутбуке, без облака. Вы говорите: «Поставь таймер на десять минут». Языковая модель не слышит звук, она читает дискретные токены, то есть последовательности чисел. Превращать речь в такие числа и собирать ответ обратно в звук должен кодек. Если он медленный, ассистент отвечает с паузой, даже когда сама модель быстрая. Liquid AI выложила в открытый доступ кодек LiquidCodec на 74 млн параметров. Одну секунду звука он декодирует за 0,0115 секунды, а Mimi, кодек прошлой LFM2-Audio, тратит на это 0,0329 секунды. Это в 2,9 раза быстрее (пересчёт редакции). Если вы делаете голосовые функции для устройств, это прямой повод проверить кодек на своих данных.
Что делает кодек и чем этот отличается
Кодер режет звук на кадры и записывает каждый кадр набором чисел из заранее заданных справочников, которые называются кодовыми книгами. Модель читает эти числа и предсказывает продолжение. Декодер собирает из предсказанных чисел слышимую речь. На LiquidCodec построены LFM3-Audio-2B и LFM3-Omni-2B, вышедшие в конце октября.
LiquidCodec выдаёт 12,5 кадра в секунду при частоте звука 24 кГц. Кодер у него полностью причинный: он смотрит только в прошлое и не ждёт конца фразы. Поэтому кодек подходит для потока с микрофона, когда запись не накапливается заранее.
Mimi использует остаточное векторное квантование, где коды уточняют друг друга по цепочке. В LiquidCodec применено групповое конечное скалярное квантование и двенадцать кодовых книг. Языковая модель может предсказывать их параллельно, а не угадывать одно за другим. По моему пересчёту, при 12,5 кадра в секунду это около 150 токенов на секунду звука. Декодер сразу выдаёт спектральные коэффициенты и обходится без затратного обучаемого повышения частоты дискретизации.
Что показали замеры
Все цифры взяты из поста и блога самой Liquid AI. Независимых проверок пока нет.
- На одном потоке процессора MacBook Pro с M4 Max кодирование идёт в 361 раз быстрее реального времени, декодирование в 87 раз.
- На секунду звука декодер тратит 0,0115 секунды. У Mimi это 0,0329, у X-Codec 2 — 0,0379, у NanoCodec — 0,2543.
- ViSQOL, автоматическая оценка близости восстановленной речи к оригиналу, на LibriSpeech составила 4,319. У NanoCodec 4,219, у X-Codec 2 4,119, у Mimi 4,031.
- По ViSQOL и расстоянию между мел-спектрограммами кодек лучший на всех восьми наборах данных. Языки: английский, китайский, немецкий, французский, японский и корейский.
- Модели синтеза речи, обученные на токенах LiquidCodec, получили лучшую естественность звучания на всех восьми наборах и лучшую разборчивость на четырёх.
- Декодер с четырёхбитным квантованием весит в 3,5 раза меньше. Качество почти не падает: ViSQOL 4,292.
Что с этим делать
Для разработчиков полезны две вещи. Во-первых, лёгкий кодек с открытыми весами можно взять отдельно, например для собственной речевой модели, а не только вместе с LFM3. Во-вторых, четырёхбитный декодер оставляет запас по памяти для мобильных и встраиваемых сценариев.
Есть и оговорки. Скорость измерена на мощном процессоре Apple, на бюджетном телефоне цифры будут другими. ViSQOL и мел-спектрограммы — автоматические оценки, прослушивание живыми людьми они не заменяют. Разборчивость синтеза лучшая лишь на четырёх наборах из восьми. Лицензия LFM Open v1.0 не из самых привычных открытых лицензий, поэтому для коммерческого продукта её условия лучше прочитать до интеграции.
Если ваш голосовой стек сегодня упирается в задержку декодирования, LiquidCodec стоит прогнать на своих данных и своём железе. Веса и блогпост уже опубликованы.
- 12 нояб. 2026 г.Google привезла Gemini Intelligence в Android Auto — пока только для Pixel
- 12 нояб. 2026 г.Adobe показала на Max четыре ИИ-прототипа: 3D из фото, звук-квадрат и копипаст правок
- 12 нояб. 2026 г.Apple продаёт ИИ сверх лимита: в Logic Pro появился пакет за $50 без подписки
- 12 нояб. 2026 г.Apple продаёт пакеты ИИ-лимитов за $50 разово — и обходит подписочную модель
Вопросы и ответы по материалу
Что известно по теме: что делает кодек и чем этот отличается?
Кодер режет звук на кадры и записывает каждый кадр набором чисел из заранее заданных справочников, которые называются кодовыми книгами. Модель читает эти числа и предсказывает продолжение. Декодер собирает из предсказанных чисел слышимую речь. На LiquidCodec построены LFM3-Audio-2B и LFM3-Omni-2B, вышедшие в конце октября. LiquidCodec выдаёт 12,5 кадра в секунду при частоте звука 24 кГц. Кодер у него полностью причинный: он смотрит только в прошлое и не ждёт конца фразы.
Что известно по теме: что показали замеры?
Все цифры взяты из поста и блога самой Liquid AI. Независимых проверок пока нет. На одном потоке процессора MacBook Pro с M4 Max кодирование идёт в 361 раз быстрее реального времени, декодирование в 87 раз. На секунду звука декодер тратит 0,0115 секунды. У Mimi это 0,0329, у X-Codec 2 — 0,0379, у NanoCodec — 0,2543. ViSQOL, автоматическая оценка близости восстановленной речи к оригиналу, на LibriSpeech составила 4,319. У NanoCodec 4,219, у X-Codec 2 4,119, у Mimi 4,031.
Что известно по теме: что с этим делать?
Для разработчиков полезны две вещи. Во-первых, лёгкий кодек с открытыми весами можно взять отдельно, например для собственной речевой модели, а не только вместе с LFM3. Во-вторых, четырёхбитный декодер оставляет запас по памяти для мобильных и встраиваемых сценариев. Есть и оговорки. Скорость измерена на мощном процессоре Apple, на бюджетном телефоне цифры будут другими. ViSQOL и мел-спектрограммы — автоматические оценки, прослушивание живыми людьми они не заменяют.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.