NVIDIA показала, как Gemma 4 с голосом и веб-камерой работает на Jetson Orin Nano Super

NVIDIA показала практичное edge-демо: Gemma 4 умеет слушать вопрос, при необходимости сама обращается к веб-камере и отвечает голосом — всё это локально на Jetson Orin Nano Super с 8 ГБ памяти. Публикация от 22 апреля 2026 года интересна не только самим туториалом, но и тем, что мультимодальный агент запускается на компактной плате, а не в облаке.

Как работает связка Сценарий собран как простой голосовой агент с одним визуальным инструментом.

Пользователь нажимает пробел, задаёт вопрос голосом, после чего Parakeet локально переводит речь в текст. Затем Gemma 4 получает запрос и сама решает, нужен ли ей взгляд через веб-камеру. Если да, скрипт делает кадр, передаёт его модели, а ответ затем озвучивается через Kokoro TTS. В статье отдельно подчёркивается, что модель не описывает картинку вообще, а использует увиденное только для ответа на конкретный вопрос.

«Честно говоря, впечатляет уже то, что это работает на Jetson Orin Nano».

Ключевой момент в том, что здесь нет жёстких триггеров и ручной логики вида «если в вопросе есть слово camera». Скрипт открывает для Gemma 4 ровно один tool — `look_and_answer`, который делает снимок и анализирует сцену. Вызывать его или нет, модель решает сама. Для этого NVIDIA использует `llama-server` из `llama.cpp` с флагом `--jinja`, который включает нативную поддержку tool calling. По сути, это компактный VLA-сценарий, где vision подключается только тогда, когда действительно нужен.

Что нужно для запуска

Само демо не выглядит магией из коробки: это скорее хорошо собранная инструкция для энтузиастов и разработчиков, которые хотят повторить локальный мультимодальный пайплайн у себя. NVIDIA описывает не только запуск Python-скрипта, но и весь стек — от системных пакетов и сборки `llama.cpp` до настройки аудио, камеры и загрузки vision projector для Gemma 4.

• Jetson Orin Nano Super с 8 ГБ памяти, веб-камера, USB-микрофон или камера со встроенным микрофоном, USB-колонки и клавиатура Python-окружение с `opencv-python-headless`, `onnx_asr`, `kokoro-onnx`, `soundfile`, `huggingface-hub` и `numpy` Локально собранный `llama.cpp` с CUDA, модель `gemma-4-E2B-it` в GGUF и отдельный файл `mmproj`, без которого Gemma 4 не сможет видеть Настройка `MIC_DEVICE`, `SPK_DEVICE`, `WEBCAM` и `VOICE`, после чего демо запускается одной командой `python3 Gemma4_vla.py` Отдельный текстовый режим через Docker, если хочется быстро проверить LLM-часть без полной визуальной конфигурации Отдельный акцент сделан на памяти. Плата с 8 ГБ справляется, но автор прямо советует освободить RAM, отключить лишние процессы и даже добавить swap, чтобы не поймать OOM при загрузке модели. Базовым вариантом назван квантованный `Q4_K_M`, а при совсем жёстких ограничениях можно опуститься до `Q3`. Это важная деталь: речь не о полированном потребительском продукте, а о рабочем рецепте, где каждый гигабайт реально влияет на результат.

Почему это интересно

Новость здесь не в том, что Gemma 4 можно запустить на Jetson — это само по себе ожидаемо для облегчённых сборок. Важнее другое: NVIDIA показывает практический шаблон локального мультимодального агента, который объединяет STT, LLM, tool calling, vision и TTS без обязательного обращения к облаку. Для edge-устройств это сильный сигнал.

Раньше подобные сценарии чаще ассоциировались либо с сервером, либо с сильно урезанными демо, где модель просто отвечает на текст. При этом инструкция честно показывает ограничения. Первый запуск медленный, потому что подтягиваются модели и генерируются голосовые файлы.

Полноценный VLA-режим требует нативной сборки и vision projector, а Docker-вариант годится только для текста. Если серверу не хватает памяти, приходится вручную чистить систему. NVIDIA также не приводит в статье бенчмарки по скорости и не показывает видео с реальной задержкой, так что до готового ассистента для всех здесь ещё далеко.

Но как демонстрация направления это очень сильный кейс.

Что это значит

Локальные AI-агенты становятся ближе к практическому использованию на недорогом железе. Для разработчиков это означает возможность собирать приватные голосовые интерфейсы и мультимодальные прототипы без обязательной облачной инфраструктуры. Для рынка edge AI это ещё один шаг от красивых презентаций к системам, которые можно реально поднять на столе, проверить и встроить в продукт.