Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Голосовой ассистент BARY переехал на контроллер с 4 ГБ и учится за 47 минут

Автор домашнего ассистента BARY за год перенёс его с Orange Pi на контроллер Wiren Board 8 с 4 ГБ памяти, который уже управляет домом. Обучение модели там сначала вешало контроллер: память съедали два дополнительных процесса загрузки данных, а не сама нейросеть. После правок полный цикл занял около 47 минут, пик памяти — 1,47 ГБ. Вывод для практики: прежде чем покупать железо мощнее, измерьте, куда уходит память.

AI-обработка оригинала Habr AI; редакция Hamidun News
Голосовой ассистент BARY переехал на контроллер с 4 ГБ и учится за 47 минут
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1«Включи свет» разбирается за 30–70 мс без участия LLM
LLM qwen38b на ноутбуке с RTX 3070 отвечает около 12 секунд
Ключевой факт #3В доме 49 устройств в 18 помещениях, команды строятся сами

Автор проекта BARY год назад собрал локального голосового ассистента для умного дома, который работает без облака, а теперь рассказал, что получилось после переезда. Главное: весь ассистент (распознавание речи, поиск команды, озвучка) теперь живёт на контроллере Wiren Board 8 с 4 ГБ памяти, а дообучается там же за 47 минут. Сначала такое обучение просто вешало контроллер, и дело оказалось не в слабом железе. Память съедали лишние процессы вокруг модели. Если вы запускаете ИИ на маломощном устройстве, это пригодится: вместо покупки более дорогой платы стоит сначала измерить, что именно занимает память.

Дом понимает, где его позвали

Фраза «Бари, включи свет» неполная: какой свет и в какой комнате? Поэтому у каждого микрофона теперь указано помещение. Скажете на кухне — включится кухонный свет, полное название устройства проговаривать не нужно. В доме автора 49 устройств в 18 помещениях, так что это заметно упрощает речь.

Лучшим микрофоном оказался Seeed ReSpeaker USB Mic Array v2.0, его посоветовали в комментариях к первой статье. Его можно подключить к контроллеру по USB или поставить в дальней комнате вместе с Raspberry Pi 3B+. Такая точка сама распознаёт речь через VOSK и отправляет на контроллер текст, варианты распознавания с оценкой уверенности и событие wake word. Для подстраховки она может прислать и WAV-запись, которую разберёт GigaAM за 240–370 мс. Точек может быть до четырёх, пока в тестах работает одна.

Для слова «Бари» сделали отдельную модель на OpenWakeWord. Обучается только классификатор, а нейросеть для векторов берётся готовая. Нужно около сотни размеченных фрагментов плюс шумы из набора библиотеки. Ложные срабатывания автор ловил телевизором: всё, на что модель реагировала, уходило в список игнорируемых. Слабое место: в данных почти только голос автора, на жену и ребёнка модель не срабатывает.

Сама модель команд тоже изменилась. Раньше каждое сочетание действия, устройства, комнаты и параметров было отдельной фразой, отсюда 16 тысяч команд. Теперь у модели несколько выходов: действие, устройство, помещение, значение и задержка. Фраза «Выключи свет в кабинете через пять минут» превращается в готовую структуру с полями action, device, room и delay. В модели около 6 млн параметров (раньше около 5 млн), словарь — 603 токена. Новые устройства подтягиваются из BARY вместе с комнатой и возможностями, а синонимы вроде «телек» добавляются без переобучения: достаточно пересчитать индекс, и полный пересчёт занимает 9,4 секунды.

Обучение на контроллере: память съедал не PyTorch

Контроллер — Wiren Board 8.5.1 на Allwinner T507 с 4 ГБ памяти. В одном из замеров сервер BARY занимал 275 МБ, плагин ассистента — 182 МБ, ML-сервис — 377 МБ, VOSK — 233 МБ, Piper — 283 МБ. Всего около 1,35 ГБ, хотя простое сложение RSS даёт лишь грубую оценку.

Первая попытка обучить модель на контроллере закончилась уходом в swap и зависанием. Замеры показали: DataLoader из PyTorch запускал два рабочих процесса, каждый со своей копией данных и библиотек, а параллельно ассистент мог пересчитывать индекс команд. Что исправили:

  • на контроллерах с памятью меньше 6 ГБ данные грузит один процесс (num_workers=0);
  • обучение и пересчёт индекса больше не идут одновременно;
  • монитор памяти считает не только основной процесс, но и дочерние;
  • если MemAvailable держится ниже 128 МБ три проверки подряд (раз в пять секунд), обучение останавливается и сохраняет промежуточный результат;
  • старая модель работает, пока новая не обучится и не пройдёт проверку.

Модель, датасет и размер батча не менялись. Цикл из 20 эпох по 64 примера занял около 47 минут, тренер использовал не больше 1,47 ГБ, а свободной памяти ни разу не оставалось меньше 799 МБ. После обучения новая модель загрузилась сама и за 9 секунд построила индекс команд. Оговорка: в последнем запуске всего 343 обучающих и 35 проверочных примеров, лучшая модель получилась на третьей эпохе, а порога точности на независимой выборке пока нет.

LLM отдельно, свет отдельно

Светом, климатом и шторами контроллер управляет сам, без LLM. Фраза разбирается за 30–70 мс, ответ на короткую команду приходит примерно через 600 мс, но 500 из них ассистент намеренно ждёт, пока фраза договорится до конца. Генеративную модель между «включи свет» и реле автор ставить не хочет: нейросеть лишь разбирает фразу и отдаёт BARY готовую команду, а выключатель на стене работает и без ассистента.

LLM нужна только для свободного разговора («Бари, давай поговорить») и для разбора нераспознанных фраз. Она запущена через Ollama на ноутбуке ASUS TUF Dash F15 с RTX 3070 Laptop на 8 ГБ, модель — qwen3:8b. Ответ генерируется около 12 секунд. Если ноутбук выключить, пропадёт только разговор, а свет и отопление продолжат работать. На вопросы о самом BARY ассистент сначала находит ответ во встроенной документации и передаёт его модели, чтобы та читала актуальный текст, а не вспоминала по памяти. Озвучку ответов автор отдал умной колонке: Piper звучит плохо, Silero лучше, но тоже не устраивает.

Кроме устройств, ассистент умеет управлять музыкой, списком покупок и загрузками фильмов и сериалов. Практический урок для разработчиков локальных систем простой: критичные действия держите вне генеративной модели, а прежде чем менять железо, измеряйте, куда оно тратит ресурсы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: дом понимает, где его позвали?

Фраза «Бари, включи свет» неполная: какой свет и в какой комнате? Поэтому у каждого микрофона теперь указано помещение. Скажете на кухне — включится кухонный свет, полное название устройства проговаривать не нужно. В доме автора 49 устройств в 18 помещениях, так что это заметно упрощает речь. Лучшим микрофоном оказался Seeed ReSpeaker USB Mic Array v2.0, его посоветовали в комментариях к первой статье. Его можно подключить к контроллеру по USB или поставить в дальней комнате вместе с Raspberry Pi 3B+.

Что известно по теме: обучение на контроллере: память съедал не PyTorch?

Контроллер — Wiren Board 8.5.1 на Allwinner T507 с 4 ГБ памяти. В одном из замеров сервер BARY занимал 275 МБ, плагин ассистента — 182 МБ, ML-сервис — 377 МБ, VOSK — 233 МБ, Piper — 283 МБ. Всего около 1,35 ГБ, хотя простое сложение RSS даёт лишь грубую оценку. Первая попытка обучить модель на контроллере закончилась уходом в swap и зависанием. Замеры показали: DataLoader из PyTorch запускал два рабочих процесса, каждый со своей копией данных и библиотек, а параллельно ассистент мог пересчитывать индекс команд.

Что известно по теме: LLM отдельно, свет отдельно?

Светом, климатом и шторами контроллер управляет сам, без LLM. Фраза разбирается за 30–70 мс, ответ на короткую команду приходит примерно через 600 мс, но 500 из них ассистент намеренно ждёт, пока фраза договорится до конца. Генеративную модель между «включи свет» и реле автор ставить не хочет: нейросеть лишь разбирает фразу и отдаёт BARY готовую команду, а выключатель на стене работает и без ассистента. LLM нужна только для свободного разговора («Бари, давай поговорить») и для разбора нераспознанных фраз.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…