App AI Assistant запускает голосового помощника на ПК на 100% локально

Локальный голосовой помощник часто хорошо выглядит только на схеме. На практике разработчик получает клубок из распознавания речи, локальной модели, синтеза голоса, очередей аудио и логики прерывания. App AI Assistant пытается собрать этот клубок в работающий настольный продукт: пользователь говорит, система распознаёт фразу, локальная Gemma 3 готовит ответ, Silero начинает озвучивать его порциями, а при новом обращении воспроизведение останавливается.

Проект работает без облачных API и опубликован под лицензией MIT. Это делает его полезным не только как готового «Джарвиса», но и как инженерный пример: отдельные части можно запускать самостоятельно и подключать к приложениям на Python, C#, Java, JavaScript или Go.

Как устроен голосовой конвейер

Автор разделил систему на графический оркестратор и три сервиса: srv_stt для распознавания, srv_llm для генерации ответа и srv_tts для синтеза речи. Они обмениваются данными через HTTP и WebSocket. Такой подход позволяет менять интерфейс или использовать только нужный компонент, не переписывая весь помощник.

Распознавание построено на связке Vosk и Faster-Whisper. Vosk быстро замечает начало новой реплики и помогает реализовать barge-in — прерывание помощника голосом. Faster-Whisper затем формирует более точную итоговую расшифровку. Ответ генерирует Gemma 3 через llama-cpp-python, а Silero превращает текст в речь. Перед синтезом отдельный слой нормализует числа и сокращения, на которых голосовые движки часто ошибаются.

На простом примере это выглядит так. Пользователь просит открыть рабочую папку. Модуль распознавания передаёт текст оркестратору, модель выбирает настроенный сценарий, а помощник запускает соответствующий Python-скрипт. Если пользователь тут же произносит другую команду, Vosk фиксирует речь, воспроизведение прекращается, и начинается новый цикл. Краткое резюме предыдущих диалогов можно сохранять между сеансами.

Зачем сервисы вынесены отдельно

Каждый компонент доступен как самостоятельный HTTP-сервер. Разработчик C#-приложения может поднять только srv_stt и srv_tts, чтобы добавить голосовой интерфейс. Java-приложение может обращаться к srv_llm как к локальному API. Это практичнее монолитной интеграции, когда замена модели или движка распознавания затрагивает весь продукт.

Для установки автор подготовил отдельный мастер. Он загружает переносимые версии Python и Git, проверяет файлы по SHA-256, создаёт виртуальные окружения, устанавливает зависимости и собирает исполняемые файлы через PyInstaller. Docker сознательно не используется: целевая аудитория — владельцы обычных Windows-компьютеров, для которых WSL2, виртуализация и Docker Desktop стали бы дополнительным барьером.

В комплект также входит infrastructure2 — общий набор модулей для логирования, HTTP-клиентов, настроек, управления процессами, потоковой передачи данных и сборки исполняемых файлов. Это уже не обязательная часть голосового помощника, но репозиторий показывает, как автор уменьшает дублирование между несколькими Python-проектами.

Ограничения и практический вывод

Проект пока рассчитан только на Windows 10 и 11. Поддержка моделей привязана к шаблону Gemma, а эхоподавление не завершено. Поэтому звук из динамиков может снова попадать в микрофон и восприниматься как новая речь; автор рекомендует пользоваться наушниками. Репозиторий infrastructure2 также пока слабо документирован.

Разработчикам стоит смотреть на App AI Assistant не как на универсальную замену облачным ассистентам, а как на готовый стенд для локального голосового интерфейса. Его сильная сторона — прозрачный конвейер из доступных компонентов и возможность забрать только STT, TTS либо LLM. Перед внедрением важно проверить задержку и потребление памяти на целевом компьютере, изучить разрешённые голосовые команды и изолировать запуск пользовательских скриптов. Локальная работа защищает разговоры от отправки в облако, но сама по себе не делает выполнение команд безопасным.