Голосовой ассистент BARY переехал на контроллер с 4 ГБ и учится за 47 минут
Автор домашнего ассистента BARY за год перенёс его с Orange Pi на контроллер Wiren Board 8 с 4 ГБ памяти, который уже управляет домом. Обучение модели там сначала вешало контроллер: память съедали два дополнительных процесса загрузки данных, а не сама нейросеть. После правок полный цикл занял около 47 минут, пик памяти — 1,47 ГБ. Вывод для практики: прежде чем покупать железо мощнее, измерьте, куда уходит память.
AI-обработка оригинала Habr AI; редакция Hamidun News
Автор проекта BARY год назад собрал локального голосового ассистента для умного дома, который работает без облака, а теперь рассказал, что получилось после переезда. Главное: весь ассистент (распознавание речи, поиск команды, озвучка) теперь живёт на контроллере Wiren Board 8 с 4 ГБ памяти, а дообучается там же за 47 минут. Сначала такое обучение просто вешало контроллер, и дело оказалось не в слабом железе. Память съедали лишние процессы вокруг модели. Если вы запускаете ИИ на маломощном устройстве, это пригодится: вместо покупки более дорогой платы стоит сначала измерить, что именно занимает память.
Дом понимает, где его позвали
Фраза «Бари, включи свет» неполная: какой свет и в какой комнате? Поэтому у каждого микрофона теперь указано помещение. Скажете на кухне — включится кухонный свет, полное название устройства проговаривать не нужно. В доме автора 49 устройств в 18 помещениях, так что это заметно упрощает речь.
Лучшим микрофоном оказался Seeed ReSpeaker USB Mic Array v2.0, его посоветовали в комментариях к первой статье. Его можно подключить к контроллеру по USB или поставить в дальней комнате вместе с Raspberry Pi 3B+. Такая точка сама распознаёт речь через VOSK и отправляет на контроллер текст, варианты распознавания с оценкой уверенности и событие wake word. Для подстраховки она может прислать и WAV-запись, которую разберёт GigaAM за 240–370 мс. Точек может быть до четырёх, пока в тестах работает одна.
Для слова «Бари» сделали отдельную модель на OpenWakeWord. Обучается только классификатор, а нейросеть для векторов берётся готовая. Нужно около сотни размеченных фрагментов плюс шумы из набора библиотеки. Ложные срабатывания автор ловил телевизором: всё, на что модель реагировала, уходило в список игнорируемых. Слабое место: в данных почти только голос автора, на жену и ребёнка модель не срабатывает.
Сама модель команд тоже изменилась. Раньше каждое сочетание действия, устройства, комнаты и параметров было отдельной фразой, отсюда 16 тысяч команд. Теперь у модели несколько выходов: действие, устройство, помещение, значение и задержка. Фраза «Выключи свет в кабинете через пять минут» превращается в готовую структуру с полями action, device, room и delay. В модели около 6 млн параметров (раньше около 5 млн), словарь — 603 токена. Новые устройства подтягиваются из BARY вместе с комнатой и возможностями, а синонимы вроде «телек» добавляются без переобучения: достаточно пересчитать индекс, и полный пересчёт занимает 9,4 секунды.
Обучение на контроллере: память съедал не PyTorch
Контроллер — Wiren Board 8.5.1 на Allwinner T507 с 4 ГБ памяти. В одном из замеров сервер BARY занимал 275 МБ, плагин ассистента — 182 МБ, ML-сервис — 377 МБ, VOSK — 233 МБ, Piper — 283 МБ. Всего около 1,35 ГБ, хотя простое сложение RSS даёт лишь грубую оценку.
Первая попытка обучить модель на контроллере закончилась уходом в swap и зависанием. Замеры показали: DataLoader из PyTorch запускал два рабочих процесса, каждый со своей копией данных и библиотек, а параллельно ассистент мог пересчитывать индекс команд. Что исправили:
- на контроллерах с памятью меньше 6 ГБ данные грузит один процесс (num_workers=0);
- обучение и пересчёт индекса больше не идут одновременно;
- монитор памяти считает не только основной процесс, но и дочерние;
- если MemAvailable держится ниже 128 МБ три проверки подряд (раз в пять секунд), обучение останавливается и сохраняет промежуточный результат;
- старая модель работает, пока новая не обучится и не пройдёт проверку.
Модель, датасет и размер батча не менялись. Цикл из 20 эпох по 64 примера занял около 47 минут, тренер использовал не больше 1,47 ГБ, а свободной памяти ни разу не оставалось меньше 799 МБ. После обучения новая модель загрузилась сама и за 9 секунд построила индекс команд. Оговорка: в последнем запуске всего 343 обучающих и 35 проверочных примеров, лучшая модель получилась на третьей эпохе, а порога точности на независимой выборке пока нет.
LLM отдельно, свет отдельно
Светом, климатом и шторами контроллер управляет сам, без LLM. Фраза разбирается за 30–70 мс, ответ на короткую команду приходит примерно через 600 мс, но 500 из них ассистент намеренно ждёт, пока фраза договорится до конца. Генеративную модель между «включи свет» и реле автор ставить не хочет: нейросеть лишь разбирает фразу и отдаёт BARY готовую команду, а выключатель на стене работает и без ассистента.
LLM нужна только для свободного разговора («Бари, давай поговорить») и для разбора нераспознанных фраз. Она запущена через Ollama на ноутбуке ASUS TUF Dash F15 с RTX 3070 Laptop на 8 ГБ, модель — qwen3:8b. Ответ генерируется около 12 секунд. Если ноутбук выключить, пропадёт только разговор, а свет и отопление продолжат работать. На вопросы о самом BARY ассистент сначала находит ответ во встроенной документации и передаёт его модели, чтобы та читала актуальный текст, а не вспоминала по памяти. Озвучку ответов автор отдал умной колонке: Piper звучит плохо, Silero лучше, но тоже не устраивает.
Кроме устройств, ассистент умеет управлять музыкой, списком покупок и загрузками фильмов и сериалов. Практический урок для разработчиков локальных систем простой: критичные действия держите вне генеративной модели, а прежде чем менять железо, измеряйте, куда оно тратит ресурсы.
- 12 окт. 2026 г.CLEAT учит агентов на Qwen3-4B вовремя переспрашивать: до +13,2 п.п.
- 23 окт. 2026 г.HoloBoxing учит гуманоида боксировать за 7 минут на одной GPU
- 2 июн. 2026 г.Gemini в Android Auto: как голосовой ассистент переделал мои поездки
- 2 мая 2026 г.Yandex Cloud объяснила, как внедрять ИИ-агентов в ИБ без ложных блокировок и сбоев
Вопросы и ответы по материалу
Что известно по теме: дом понимает, где его позвали?
Фраза «Бари, включи свет» неполная: какой свет и в какой комнате? Поэтому у каждого микрофона теперь указано помещение. Скажете на кухне — включится кухонный свет, полное название устройства проговаривать не нужно. В доме автора 49 устройств в 18 помещениях, так что это заметно упрощает речь. Лучшим микрофоном оказался Seeed ReSpeaker USB Mic Array v2.0, его посоветовали в комментариях к первой статье. Его можно подключить к контроллеру по USB или поставить в дальней комнате вместе с Raspberry Pi 3B+.
Что известно по теме: обучение на контроллере: память съедал не PyTorch?
Контроллер — Wiren Board 8.5.1 на Allwinner T507 с 4 ГБ памяти. В одном из замеров сервер BARY занимал 275 МБ, плагин ассистента — 182 МБ, ML-сервис — 377 МБ, VOSK — 233 МБ, Piper — 283 МБ. Всего около 1,35 ГБ, хотя простое сложение RSS даёт лишь грубую оценку. Первая попытка обучить модель на контроллере закончилась уходом в swap и зависанием. Замеры показали: DataLoader из PyTorch запускал два рабочих процесса, каждый со своей копией данных и библиотек, а параллельно ассистент мог пересчитывать индекс команд.
Что известно по теме: LLM отдельно, свет отдельно?
Светом, климатом и шторами контроллер управляет сам, без LLM. Фраза разбирается за 30–70 мс, ответ на короткую команду приходит примерно через 600 мс, но 500 из них ассистент намеренно ждёт, пока фраза договорится до конца. Генеративную модель между «включи свет» и реле автор ставить не хочет: нейросеть лишь разбирает фразу и отдаёт BARY готовую команду, а выключатель на стене работает и без ассистента. LLM нужна только для свободного разговора («Бари, давай поговорить») и для разбора нераспознанных фраз.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.