Как Сбер обучил колонки генерировать сценарии умного дома голосом

Сбер обучил ГигаЧат в своих умных колонках создавать сценарии автоматизации прямо по голосовым командам. Теперь пользователи могут сказать: «Создай сценарий, чтобы при выходе из дома выключались свет и отопление» — и колонка самостоятельно сгенерирует автоматизацию без единого касания к экрану.

Голос вместо навигации

До недавних пор для создания сценария требовалось открыть приложение, найти нужные устройства в списке, связать их условиями и вручную сохранить правила. Процесс был утомительным: закрыть навык в пальцах, потрогать три раза экран, найти фильтры — это отпугивало обычных пользователей. Теперь достаточно одной фразы.

ГигаЧат анализирует намерение пользователя, определяет, какие устройства задействованы, и генерирует сценарий за секунды. По сути, это похоже на команды типа «OK Google, создай рутину», но Сбер реализовал собственный подход, не выбирая классический путь fine-tuning на тысячах примеров. Вместо этого инженеры выбрали контекстное обучение: информацию о конкретных устройствах пользователя передают прямо в контекст ГигаЧата перед генерацией.

Модель видит реальную топологию дома и работает с ней без предварительного переобучения. Это экономит на разметке данных и ускоряет адаптацию к новым устройствам — если пользователь купил новый светильник, ему не нужно ждать обновления модели.

Персонализация — главная беда Главный вызов в управлении умным домом — абсолютная персонализация.

У одного юзера есть 30 устройств, у другого три. Кто-то светильник называет «лампой», другой — «света в спальне», третий — «солнце над кроватью». Датчики, выключатели, пользовательские скрипты — всё может быть названо совершенно по-разному.

Обычные LLM часто буксуют на такой вариативности: переберут устройства в слепых догадках, перепутают комнаты, неправильно разберут намерение. Но здесь ошибка недопустима — это не шутка с рекомендациями музыки. Если сценарий сработает неправильно, пользователь ночью замёрзнет, потому что отопление не включится.

Или кондиционер будет работать днём в пустой квартире, потребляя электроэнергию. Решение инженеров Сбер: не переучивать модель на каждого юзера (это невыполнимо), а давать ей полный «справочник» в контексте запроса. Перед тем как вызвать ГигаЧат, бэкенд собирает описание всех устройств этого пользователя — какие функции они имеют, в какой комнате находятся, какие названия их отождествляют.

ГигаЧат эту информацию видит и может безопасно её использовать.

Как это работает

Пайплайн работает примерно так: * Пользователь говорит в колонку: «Создай сценарий спокойной ночи»

• Колонка распознаёт речь и отправляет текст в бэкенд Бэкенд запрашивает весь каталог устройств пользователя с описаниями функций Каталог + запрос передаются в ГигаЧат, который генерирует YAML-описание сценария Сценарная машина валидирует результат — проверяет, что все устройства реально существуют Если проверка прошла, сценарий сохраняется и становится активным Валидация на уровне сценарной машины — это подушка безопасности. Если ГигаЧат немного ошибётся (например, упомянет датчик, которого нет, или неправильно синтаксис команды), машина заметит и либо исправит, либо попросит юзера уточнить. Сбер назвал эту машину сценарной — она работает как проверка на ошибки для каждого сгенерированного правила.

Что это значит Умный дом становится доступнее обычному человеку.

Если колонка правильно создаёт сценарии по голосу, то новичку не нужно зубрить интерфейс или читать 50 страниц инструкций. Просто скажи, что ты хочешь, и система выполнит. Это важный шаг к тому, чтобы умные дома вышли из ниши энтузиастов в массовый рынок, где люди ценят простоту выше всего.