Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарQdrant Blog→ оригинал

Qdrant запустил эмбеддинги на микроконтроллере ESP32: фраза в вектор за 1,2 мс

Чтобы устройство искало по смыслу без облака, текст нужно превратить в вектор чисел (эмбеддинг), а обычные модели для этого весят от 310 МБ до 4,28 ГБ. На плате ESP32 всего 16 МБ флеш-памяти и нет ОС, поэтому Qdrant взял статическую модель на 7,5 МБ — таблицу готовых векторов для слов. Фраза из 10–12 токенов (слов и их частей) превращается в вектор за 1,2 мс. Для микроконтроллеров берите статические модели, а не ужатые трансформеры.

AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Qdrant запустил эмбеддинги на микроконтроллере ESP32: фраза в вектор за 1,2 мс
Источник: Qdrant Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникQdrant Blog ↗
Главный редактор
Ключевой факт #1Около 830 эмбеддингов в секунду против 11–15 тысяч на MacBook Pro
Ключевой факт #2Памяти нужно примерно в 3000 раз меньше, чем на ноутбуке
Ключевой факт #3Токенизатор WordPiece на Rust уместился в 200 строк без библиотек

Представьте умную колонку или датчик на заводе, которые ищут по смыслу прямо на устройстве, без облака. Для этого любой текст сначала превращают в эмбеддинг: набор чисел, по которому можно сравнивать фразы по смыслу. Обычные модели для такой задачи огромны. Команда Qdrant показала, как обойти это ограничение на плате ESP32. Это микроконтроллер с 16 МБ флеш-памяти и 8 МБ PSRAM (быстрой оперативной памяти), где нет ни диска, ни операционной системы (ОС). Фраза из 10–12 токенов, то есть слов и их частей, превращается в вектор за 1,2 мс. Это около 830 фраз в секунду. Секрет в статической модели: это просто таблица готовых векторов.

Почему обычные модели здесь не работают

Проблема двойная. Во-первых, размер. Небольшая современная модель эмбеддингов в 8-битном виде занимает 310 МБ памяти, а модель покрупнее требует 4,28 ГБ. Против 16 МБ флеш-памяти на плате это не вопрос оптимизации, а полная несовместимость. Во-вторых, вычисления: трансформеры построены на тяжёлых умножениях матриц и часто тянут за собой громоздкие зависимости вроде PyTorch.

На устройствах с ОС, несколькими ядрами и гигабайтами памяти всё это терпимо. На плате с парой мегабайт флеша без диска и без операционной системы нет. Авторы честно резюмируют: запустить обычную модель эмбеддингов на «голом железе» нельзя.

Статическая модель как таблица слов

Выход нашёлся в статических моделях эмбеддингов. Они устроены проще некуда: у каждого токена словаря заранее записан свой вектор. Чтобы получить эмбеддинг фразы, нужно разбить текст на токены, достать из таблицы строку для каждого, усреднить их и при желании нормализовать результат. Никаких нейросетевых слоёв и матричных умножений.

Подходящий кандидат нашёлся среди готовых моделей: potion-base-2M занимает всего 7,5 МБ, то есть спокойно помещается в 16 МБ флеш-памяти платы. Остаётся вопрос, как доставить модель и словарь на чип, если читать файлы неоткуда.

Как всё это уместили в прошивку

Код написан на Rust в режиме без стандартной библиотеки (no_std): он общается с железом напрямую и не рассчитывает на сервисы ОС. Из-за этого пришлось решить три задачи.

Первая задача: веса. Отдельный скрипт сборки на ноутбуке читает файл модели в формате safetensors, находит таблицу эмбеддингов и генерирует константы: размер словаря, где начинаются и заканчиваются байты весов. Затем модель целиком вшивается в бинарник прошивки. Если файл выглядит неправильно, ошибка случится на этапе сборки, а не на устройстве. На чипе веса просто читаются из памяти.

Вторая: токенизатор. Библиотеку токенизаторов от Hugging Face использовать нельзя, потому что она требует стандартную библиотеку. Поэтому авторы реализовали алгоритм WordPiece сами. Он жадно ищет самый длинный фрагмент слова, который есть в словаре, откусывает его и повторяет то же с остатком. Вместе с нормализацией текста (удаление управляющих символов и акцентов, обработка китайских иероглифов, нижний регистр) и разбиением по пробелам и знакам препинания это чуть больше 200 строк кода.

Третья: словарь. Обычно это хеш-таблица, но на плате её нет. Поэтому словарь при сборке упаковывается в компактный блок данных: сначала число записей, затем индекс из слотов фиксированного размера со смещениями, затем сами записи в отсортированном порядке. Каждая запись содержит 4-байтовый идентификатор, 1 байт длины и байты токена. Поиск идентификатора по строке делается обычным бинарным поиском. Для части операций нужна куча, и её даёт отдельный аллокатор.

Что получилось и каковы ограничения

Фраза из 10–12 токенов превращается в эмбеддинг примерно за 1,2 мс, это около 830 эмбеддингов в секунду. На MacBook Pro та же идея даёт 11 000–15 000 эмбеддингов в секунду, причём на заметно более длинных текстах. Зато чипу нужно примерно в 3000 раз меньше памяти.

Ограничения очевидны. Статическая модель не понимает контекст так, как трансформер: вектор строится усреднением вкладов отдельных токенов. Для коротких запросов, команд и простого семантического поиска по небольшой базе этого может хватить, а для тонких задач вроде различения похожих по смыслу формулировок вряд ли. Скорость тоже не рекордная, хотя для устройств с редкими запросами это не критично.

Практический вывод для разработчиков встраиваемых систем: если нужны эмбеддинги на микроконтроллере, не пытайтесь ужимать трансформер, а начните со статической модели. Для неё хватит таблицы весов, словаря и цикла усреднения. В Qdrant называют это первой половиной задачи, а следующей обещают векторный поиск прямо на чипе. Полный код опубликован в блоге компании.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему обычные модели здесь не работают?

Проблема двойная. Во-первых, размер. Небольшая современная модель эмбеддингов в 8-битном виде занимает 310 МБ памяти, а модель покрупнее требует 4,28 ГБ. Против 16 МБ флеш-памяти на плате это не вопрос оптимизации, а полная несовместимость. Во-вторых, вычисления: трансформеры построены на тяжёлых умножениях матриц и часто тянут за собой громоздкие зависимости вроде PyTorch. На устройствах с ОС, несколькими ядрами и гигабайтами памяти всё это терпимо.

Что известно по теме: статическая модель как таблица слов?

Выход нашёлся в статических моделях эмбеддингов. Они устроены проще некуда: у каждого токена словаря заранее записан свой вектор. Чтобы получить эмбеддинг фразы, нужно разбить текст на токены, достать из таблицы строку для каждого, усреднить их и при желании нормализовать результат. Никаких нейросетевых слоёв и матричных умножений. Подходящий кандидат нашёлся среди готовых моделей: potion-base-2M занимает всего 7,5 МБ, то есть спокойно помещается в 16 МБ флеш-памяти платы.

Что известно по теме: как всё это уместили в прошивку?

Код написан на Rust в режиме без стандартной библиотеки (no_std): он общается с железом напрямую и не рассчитывает на сервисы ОС. Из-за этого пришлось решить три задачи. Первая задача: веса. Отдельный скрипт сборки на ноутбуке читает файл модели в формате safetensors, находит таблицу эмбеддингов и генерирует константы: размер словаря, где начинаются и заканчиваются байты весов. Затем модель целиком вшивается в бинарник прошивки. Если файл выглядит неправильно, ошибка случится на этапе сборки, а не на устройстве.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…