Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуX: @TeksEdge→ оригинал

Японцы открыли голосовой ИИ Haru-4B: слушает во время речи, нужно 12 ГБ видеопамяти

Обычный голосовой ассистент работает как рация: ждёт, пока вы замолчите, и лишь потом отвечает. Японский стартап higurashi AI открыл модель Haru-4B, которая слушает вас прямо во время своей речи, вставляет «угу» и может говорить внахлёст. Ей хватит видеокарты Nvidia с 12 ГБ памяти, как у обычной игровой, а на MacBook с M1 Max задержка — 65,2 мс. Голосового бота теперь можно запускать у себя, без облака.

AI-обработка оригинала X: @TeksEdge; редакция Hamidun News
Японцы открыли голосовой ИИ Haru-4B: слушает во время речи, нужно 12 ГБ видеопамяти
Источник: X: @TeksEdge. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @TeksEdge ↗
Главный редактор
Ключевой факт #1Лицензия Apache 2.0 — и на веса, и на код запуска
Ключевой факт #2Основа — Qwen3.5-4B; обучение на 40 млн+ часов речи
Ключевой факт #3Девять основных языков, свои голоса по образцу аудио

Почти любой голосовой ассистент работает как рация: вы говорите, он ждёт тишины, потом отвечает. Перебить его нельзя, а привычных «ага» и «понятно» посреди вашей фразы он не вставит, поэтому разговор похож на обмен голосовыми сообщениями. Японский стартап higurashi AI открыл модель Haru-4B, которая слушает вас в тот момент, когда сама говорит. Для запуска хватит видеокарты Nvidia примерно с 12 ГБ видеопамяти — это уровень обычной игровой карты, а не дорогого серверного ускорителя. По сообщению в X, модель быстро заняла первое место в трендах Hugging Face среди всех категорий. Если вы делаете голосовой продукт, это способ проверить живой диалог на собственном железе, без облачного API.

Что значит «слушает, пока говорит»

Технический термин для такого режима — full-duplex, полный дуплекс. Телефонный разговор устроен так же: оба участника могут говорить и слышать одновременно. Haru-4B не ждёт, пока вы закончите фразу. Модель непрерывно обрабатывает входящий звук и решает, что делать: продолжить говорить, остановиться, вставить короткое «угу» или заговорить поверх собеседника.

Разработчики называют три заметных умения: перекрывающуюся речь, разговорные подтверждения («да-да», «понял») и работу на девяти основных языках. Представьте колл-центр или языкового тренера. Живой оператор кивает в ответ на ваши слова и не молчит, пока вы объясняете проблему. Для классического голосового бота это почти недостижимо, потому что он ждёт конца реплики.

Под капотом лежит языковая модель Qwen3.5-4B, к которой добавили аудиокомпоненты. По заявлению авторов, обучение шло на более чем 40 млн часов настоящей речи. Из них свыше 13 млн часов — диалоги, где собеседники говорят одновременно. Речевые данные охватывают более 160 языков. Модель также умеет подстраиваться под персонажей и голоса: достаточно дать образец аудио.

Цифры и железо

Самое практичное в релизе — требования к оборудованию. Для видеокарты Nvidia нужно примерно 12 ГБ видеопамяти. Чекпоинт (файл с весами) в формате BF16 весит около 10,5 ГБ. Для серверной выдачи на GPU предлагают vLLM-Omni. Пользователям Mac досталась нативная реализация на MLX с собственными ядрами Metal.

На MacBook с чипом Apple M1 Max разработчики сообщают о медианной задержке обработки 65,2 мс. Новый аудиокадр модель получает раз в 133 мс. Простыми словами: на обработку порции звука уходит примерно вдвое меньше времени, чем длится сама порция. Поэтому на ноутбуке модель, судя по этим данным, успевает работать в реальном времени. Важная оговорка: все цифры взяты из заявлений авторов и пересказаны в посте. Независимых замеров в материале нет.

Отдельно стоит лицензия. Apache 2.0 распространяется и на веса, и на код инференса. Это значит, что модель можно встроить в коммерческий продукт, не договариваясь с владельцем и не платя за каждый запрос к чужому API.

Что с этим делать и где подвохи

Для разработчиков голосовых интерфейсов это возможность проверить подход без облачных контрактов. Подойдут тренажёры для языков, игровые NPC, ассистенты в машине или умные колонки, где важна приватность и голос не должен уходить на чужой сервер. Для продакта важна ещё одна вещь: естественность беседы часто решает, будут ли люди пользоваться голосовой функцией вообще.

Ограничения тоже понятны. Это модель на 4 млрд параметров, и по качеству рассуждений она вряд ли сравнится с крупными облачными системами. Сообщение в X не даёт данных о том, как Haru справляется со сложными вопросами, шумом на фоне или несколькими говорящими. Поддержка девяти основных языков и обучение на данных 160 языков — не одно и то же: качество на редких языках придётся проверять отдельно. Умение перебивать и говорить внахлёст может раздражать, если настроить его неудачно. Ещё один риск — клонирование голоса по образцу аудио: для продукта понадобятся правила согласия и защиты от подделок.

Практический шаг простой: скачать чекпоинт, прогнать на своих сценариях и сравнить с привычной связкой «распознавание речи — языковая модель — синтез». Если живость диалога для вашего продукта важна, а видеокарта на 12 ГБ у вас уже есть, на проверку уйдёт один вечер.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что значит «слушает, пока говорит»?

Технический термин для такого режима — full-duplex, полный дуплекс. Телефонный разговор устроен так же: оба участника могут говорить и слышать одновременно. Haru-4B не ждёт, пока вы закончите фразу. Модель непрерывно обрабатывает входящий звук и решает, что делать: продолжить говорить, остановиться, вставить короткое «угу» или заговорить поверх собеседника. Разработчики называют три заметных умения: перекрывающуюся речь, разговорные подтверждения («да-да», «понял») и работу на девяти основных языках.

Что известно по теме: цифры и железо?

Самое практичное в релизе — требования к оборудованию. Для видеокарты Nvidia нужно примерно 12 ГБ видеопамяти. Чекпоинт (файл с весами) в формате BF16 весит около 10,5 ГБ. Для серверной выдачи на GPU предлагают vLLM-Omni. Пользователям Mac досталась нативная реализация на MLX с собственными ядрами Metal. На MacBook с чипом Apple M1 Max разработчики сообщают о медианной задержке обработки 65,2 мс. Новый аудиокадр модель получает раз в 133 мс.

Что известно по теме: что с этим делать и где подвохи?

Для разработчиков голосовых интерфейсов это возможность проверить подход без облачных контрактов. Подойдут тренажёры для языков, игровые NPC, ассистенты в машине или умные колонки, где важна приватность и голос не должен уходить на чужой сервер. Для продакта важна ещё одна вещь: естественность беседы часто решает, будут ли люди пользоваться голосовой функцией вообще. Ограничения тоже понятны. Это модель на 4 млрд параметров, и по качеству рассуждений она вряд ли сравнится с крупными облачными системами.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…