MOSS-Live объединяет голос, зрение и фоновые задачи в одном ассистенте

Разговор с большинством голосовых ассистентов до сих пор напоминает связь по рации. Сначала говорит человек, потом машина. Если вставить «угу», система может оборвать ответ; если действительно перебить её, она нередко теряет контекст и начинает заново. MOSS-Live пытается убрать именно эту механику: ассистент одновременно слушает, говорит и выполняет задачи, не превращая диалог в очередь из аудиофрагментов.

Команда OpenMOSS открыла MOSS-Live в бета-версии, включая доступ через API. Модель принимает не только звук, но и визуальные данные с камеры или экрана, поддерживает синхронный перевод и может продолжать длительную операцию в фоне, пока разговор идёт дальше. Это делает её интересной не как очередной голосовой чат, а как основу для интерфейсов, где речь, изображение и действия связаны в одной сессии.

Что меняет полный дуплекс

Представим помощника службы поддержки. Пользователь показывает через камеру роутер и спрашивает, куда подключить кабель. Ассистент начинает объяснение, но человек перебивает: «Подождите, у меня другой разъём». Обычная система либо не услышит реплику до конца ответа, либо остановится и забудет, на чём закончила. MOSS-Live заявляет более естественное поведение: модель различает сигналы внимания и настоящее перебивание, выдерживает паузы и после уточнения продолжает разговор с нужного места.

Для продукта это не косметическая функция. Ошибочное прерывание разрушает голосовой сценарий так же быстро, как зависшая кнопка — графический интерфейс. Полный дуплекс пригодится в переводчиках, обучающих приложениях, поддержке, экранных помощниках и сервисах для людей, которым неудобно постоянно переключаться между голосом и клавиатурой.

Визуальный канал расширяет набор сценариев. Пользователь может показать неисправную деталь, макет приложения или таблицу на экране, а затем обсуждать увиденное голосом. Фоновые задачи позволяют, например, запустить анализ документа и параллельно уточнять требования, не ожидая молча завершения операции.

Важная часть — не одна модель, а линейка

OpenMOSS развивает несколько направлений: MOSS-TTS для синтеза и клонирования речи, MOSS-Audio для распознавания и анализа звука, MOSS-VL для изображений и видео, а также MOSS-Image для генерации картинок. Отдельно опубликована MOVA — модель, которая создаёт видео вместе со звуком; её код и веса доступны через репозиторий проекта.

Такая линейка показывает возможную архитектуру будущего продукта: специализированные модели соединяются вокруг общего интерактивного интерфейса. Разработчику не обязательно поручать одной огромной модели всё сразу. Распознавание речи, зрение, синтез голоса и генерацию медиа можно разводить по отдельным компонентам, измерять их задержку и заменять независимо.

Что пока нельзя считать готовым

Часть планов появилась в AMA команды на Reddit. Среди них — MOSS-Anime, новая модель редактирования изображений, MOSS-TTS 2.0 с управлением эмоциями и компактный генератор видео со звуком для потребительских видеокарт. Это полезные сигналы о направлении разработки, но не готовые продукты. До публикации весов, лицензии, требований к памяти и независимых тестов строить на этих обещаниях дорожную карту рискованно.

С самим MOSS-Live тоже стоит начинать с прототипа. Для голосового продукта важны не только эффектные демонстрации, но и задержка ответа, качество распознавания перебиваний, устойчивость при шуме, стоимость минуты, языковое покрытие и правила обработки аудио с камеры и микрофона.

Практический шаг простой: взять один короткий сценарий — например, голосовое сопровождение работы с экраном — и проверить его на реальных перебиваниях, паузах и фоновых задачах. Если API стабильно сохраняет контекст и не создаёт заметной задержки, MOSS-Live может стать полезным слоем для мультимодального продукта. Остальную заявленную линейку разумно оценивать только после релизов и воспроизводимых тестов.