Qdrant запустил эмбеддинги на микроконтроллере ESP32: фраза в вектор за 1,2 мс
Чтобы устройство искало по смыслу без облака, текст нужно превратить в вектор чисел (эмбеддинг), а обычные модели для этого весят от 310 МБ до 4,28 ГБ. На плате ESP32 всего 16 МБ флеш-памяти и нет ОС, поэтому Qdrant взял статическую модель на 7,5 МБ — таблицу готовых векторов для слов. Фраза из 10–12 токенов (слов и их частей) превращается в вектор за 1,2 мс. Для микроконтроллеров берите статические модели, а не ужатые трансформеры.
AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Представьте умную колонку или датчик на заводе, которые ищут по смыслу прямо на устройстве, без облака. Для этого любой текст сначала превращают в эмбеддинг: набор чисел, по которому можно сравнивать фразы по смыслу. Обычные модели для такой задачи огромны. Команда Qdrant показала, как обойти это ограничение на плате ESP32. Это микроконтроллер с 16 МБ флеш-памяти и 8 МБ PSRAM (быстрой оперативной памяти), где нет ни диска, ни операционной системы (ОС). Фраза из 10–12 токенов, то есть слов и их частей, превращается в вектор за 1,2 мс. Это около 830 фраз в секунду. Секрет в статической модели: это просто таблица готовых векторов.
Почему обычные модели здесь не работают
Проблема двойная. Во-первых, размер. Небольшая современная модель эмбеддингов в 8-битном виде занимает 310 МБ памяти, а модель покрупнее требует 4,28 ГБ. Против 16 МБ флеш-памяти на плате это не вопрос оптимизации, а полная несовместимость. Во-вторых, вычисления: трансформеры построены на тяжёлых умножениях матриц и часто тянут за собой громоздкие зависимости вроде PyTorch.
На устройствах с ОС, несколькими ядрами и гигабайтами памяти всё это терпимо. На плате с парой мегабайт флеша без диска и без операционной системы нет. Авторы честно резюмируют: запустить обычную модель эмбеддингов на «голом железе» нельзя.
Статическая модель как таблица слов
Выход нашёлся в статических моделях эмбеддингов. Они устроены проще некуда: у каждого токена словаря заранее записан свой вектор. Чтобы получить эмбеддинг фразы, нужно разбить текст на токены, достать из таблицы строку для каждого, усреднить их и при желании нормализовать результат. Никаких нейросетевых слоёв и матричных умножений.
Подходящий кандидат нашёлся среди готовых моделей: potion-base-2M занимает всего 7,5 МБ, то есть спокойно помещается в 16 МБ флеш-памяти платы. Остаётся вопрос, как доставить модель и словарь на чип, если читать файлы неоткуда.
Как всё это уместили в прошивку
Код написан на Rust в режиме без стандартной библиотеки (no_std): он общается с железом напрямую и не рассчитывает на сервисы ОС. Из-за этого пришлось решить три задачи.
Первая задача: веса. Отдельный скрипт сборки на ноутбуке читает файл модели в формате safetensors, находит таблицу эмбеддингов и генерирует константы: размер словаря, где начинаются и заканчиваются байты весов. Затем модель целиком вшивается в бинарник прошивки. Если файл выглядит неправильно, ошибка случится на этапе сборки, а не на устройстве. На чипе веса просто читаются из памяти.
Вторая: токенизатор. Библиотеку токенизаторов от Hugging Face использовать нельзя, потому что она требует стандартную библиотеку. Поэтому авторы реализовали алгоритм WordPiece сами. Он жадно ищет самый длинный фрагмент слова, который есть в словаре, откусывает его и повторяет то же с остатком. Вместе с нормализацией текста (удаление управляющих символов и акцентов, обработка китайских иероглифов, нижний регистр) и разбиением по пробелам и знакам препинания это чуть больше 200 строк кода.
Третья: словарь. Обычно это хеш-таблица, но на плате её нет. Поэтому словарь при сборке упаковывается в компактный блок данных: сначала число записей, затем индекс из слотов фиксированного размера со смещениями, затем сами записи в отсортированном порядке. Каждая запись содержит 4-байтовый идентификатор, 1 байт длины и байты токена. Поиск идентификатора по строке делается обычным бинарным поиском. Для части операций нужна куча, и её даёт отдельный аллокатор.
Что получилось и каковы ограничения
Фраза из 10–12 токенов превращается в эмбеддинг примерно за 1,2 мс, это около 830 эмбеддингов в секунду. На MacBook Pro та же идея даёт 11 000–15 000 эмбеддингов в секунду, причём на заметно более длинных текстах. Зато чипу нужно примерно в 3000 раз меньше памяти.
Ограничения очевидны. Статическая модель не понимает контекст так, как трансформер: вектор строится усреднением вкладов отдельных токенов. Для коротких запросов, команд и простого семантического поиска по небольшой базе этого может хватить, а для тонких задач вроде различения похожих по смыслу формулировок вряд ли. Скорость тоже не рекордная, хотя для устройств с редкими запросами это не критично.
Практический вывод для разработчиков встраиваемых систем: если нужны эмбеддинги на микроконтроллере, не пытайтесь ужимать трансформер, а начните со статической модели. Для неё хватит таблицы весов, словаря и цикла усреднения. В Qdrant называют это первой половиной задачи, а следующей обещают векторный поиск прямо на чипе. Полный код опубликован в блоге компании.
- 21 нояб. 2026 г.Восемь open-source инструментов для ИИ-агентов: Browser Use лидирует со 121 тысячей звёзд
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
- 21 нояб. 2026 г.Видеомодель AURA 2.0 сама вступает в разговор: ответ звучит через 344 мс
- 21 нояб. 2026 г.Anthropic провела рекордное IPO на $81,3 млрд, но контроль остался у основателей
Вопросы и ответы по материалу
Что известно по теме: почему обычные модели здесь не работают?
Проблема двойная. Во-первых, размер. Небольшая современная модель эмбеддингов в 8-битном виде занимает 310 МБ памяти, а модель покрупнее требует 4,28 ГБ. Против 16 МБ флеш-памяти на плате это не вопрос оптимизации, а полная несовместимость. Во-вторых, вычисления: трансформеры построены на тяжёлых умножениях матриц и часто тянут за собой громоздкие зависимости вроде PyTorch. На устройствах с ОС, несколькими ядрами и гигабайтами памяти всё это терпимо.
Что известно по теме: статическая модель как таблица слов?
Выход нашёлся в статических моделях эмбеддингов. Они устроены проще некуда: у каждого токена словаря заранее записан свой вектор. Чтобы получить эмбеддинг фразы, нужно разбить текст на токены, достать из таблицы строку для каждого, усреднить их и при желании нормализовать результат. Никаких нейросетевых слоёв и матричных умножений. Подходящий кандидат нашёлся среди готовых моделей: potion-base-2M занимает всего 7,5 МБ, то есть спокойно помещается в 16 МБ флеш-памяти платы.
Что известно по теме: как всё это уместили в прошивку?
Код написан на Rust в режиме без стандартной библиотеки (no_std): он общается с железом напрямую и не рассчитывает на сервисы ОС. Из-за этого пришлось решить три задачи. Первая задача: веса. Отдельный скрипт сборки на ноутбуке читает файл модели в формате safetensors, находит таблицу эмбеддингов и генерирует константы: размер словаря, где начинаются и заканчиваются байты весов. Затем модель целиком вшивается в бинарник прошивки. Если файл выглядит неправильно, ошибка случится на этапе сборки, а не на устройстве.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.