Google научила EmbeddingGemma 2 понимать текст, картинки, видео и звук

Мультимодальная модель для кармана

Google DeepMind 6 октября 2026 года выпустила EmbeddingGemma 2 — открытую модель эмбеддингов, которая решает главную проблему отрасли: раньше для каждого типа данных требовалась своя модель, и векторы из разных моделей были несравнимы. Вектор текста нельзя было положить рядом с вектором изображения. EmbeddingGemma 2 размещает все пять модальностей в единое 768-мерное пространство.

Модель обрабатывает текст, код, изображения, видео и аудио. Такой подход открывает новые возможности: можно искать видеоклипы по текстовому запросу, находить картинки в документах или использовать голосовой запрос для поиска по текстовой базе. На устройстве это работает компактно: на Pixel 11 Pro текстовая часть занимает около 191 МБ оперативной памяти, полная мультимодальная версия — около 567 МБ. Это позволяет запускать такой поиск прямо на телефоне, не отправляя данные на сервер.

Первая версия EmbeddingGemma вышла в сентябре 2025 года, поддерживала только текстовую обработку и согласно японскому изданию livedoor набрала более 20 млн скачиваний. Успех первой версии подтолкнул Google к разработке мультимодального преемника.

Архитектура и технические характеристики

EmbeddingGemma 2 построена на архитектуре Gemma 4. Модель содержит 740 миллионов параметров, но это не монолитная структура: компоненты распределены модульно — 270M параметров для текстовой части, 170M для обработки изображений, 300M для аудио. Такая архитектура обеспечивает гибкость развёртывания: можно использовать только текстовый компонент или собрать полную мультимодальную версию в зависимости от имеющихся ресурсов.

Модель понимает более 100 языков и демонстрирует улучшения по сравнению с первой версией: на задачах с кодом производительность выросла примерно на 14%. Контекстное окно расширено до 8192 токенов — это в четыре раза больше, чем в первой версии, что позволяет обрабатывать более длинные последовательности без потери контекста.

Особая фишка — Matryoshka-векторы: модель поддерживает несколько размерностей выходных векторов: 768, 512, 256 или 128 измерений. Это позволяет выбрать оптимальный баланс между точностью и скоростью в зависимости от задачи. Текстовая часть реализована как компактный трансформер с 4 KV-головами, из которых 2 работают локально и 1 глобально, обеспечивая эффективность без значительного роста вычислительной нагрузки.

Оптимизация для мобильных устройств

Модель специально оптимизирована под работу на смартфонах и ноутбуках. Это означает, что семантический поиск, поиск по содержимому (RAG), кластеризация данных, поиск дубликатов и системы рекомендаций можно запускать полностью локально, не отправляя приватные данные пользователя на облачные серверы. Google открыла эту модель как набор весов и кода, что позволяет сообществу интегрировать её в различные приложения и сервисы.

Эмбеддинг — это вектор, то есть список чисел, которые описывают смысл содержимого. Похожие по смыслу вещи получают близкие векторы, например фразы «Сегодня чудесная погода» и «На улице так солнечно!» окажутся рядом в векторном пространстве. Поиск работает просто: считается вектор для запроса, вычисляются векторы для всех документов, и находятся ближайшие соседи по косинусной близости. На этом принципе работают семантический поиск, RAG (поиск по документам с генерацией ответов), кластеризация, поиск дубликатов и системы персональных рекомендаций.

Вторая версия EmbeddingGemma решает проблему несовместимости векторных представлений: все модальности — текст, код, картинки, видео и аудио — преобразуются в единое 768-мерное пространство, позволяя сравнивать объекты разных типов в контексте одной задачи.