Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarQdrant Blog→ original

Qdrant roda embeddings em um microcontrolador ESP32: frase vira vetor em 1,2 ms

Para que um dispositivo busque por significado sem depender da nuvem, o texto precisa ser convertido em um vetor de números (embedding), e os modelos comuns para isso pesam entre 310 MB e 4,28 GB. A placa ESP32 tem apenas 16 MB de memória flash e não roda sistema operacional, então a Qdrant adotou um modelo estático de 7,5 MB, basicamente uma tabela de vetores prontos para cada palavra. Uma frase de 10 a 12 tokens (palavras e suas partes) vira um vetor em 1,2 ms. Para microcontroladores, a recomendação é usar modelos estáticos, e não transformers comprimidos.

Processado por IA de Qdrant Blog; editado por Hamidun News
Qdrant roda embeddings em um microcontrolador ESP32: frase vira vetor em 1,2 ms
Fonte: Qdrant Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalQdrant Blog ↗
Editor-chefe
Dado-chave #1Cerca de 830 embeddings por segundo, contra 11 a 15 mil em um MacBook Pro
Dado-chave #2Memória necessária cerca de 3000 vezes menor do que em um notebook
Dado-chave #3Tokenizador WordPiece em Rust coube em 200 linhas, sem bibliotecas

Imagine uma caixa de som inteligente ou um sensor em uma fábrica que buscam por significado diretamente no próprio dispositivo, sem depender da nuvem. Para isso, qualquer texto é primeiro convertido em um embedding: um conjunto de números que permite comparar frases pelo significado. Os modelos comuns para essa tarefa são enormes.

A equipe da Qdrant mostrou como contornar essa limitação na placa ESP32. Trata-se de um microcontrolador com 16 MB de memória flash e 8 MB de PSRAM (memória RAM rápida), sem disco e sem sistema operacional (SO). Uma frase de 10 a 12 tokens, ou seja, palavras e suas partes, vira um vetor em 1,2 ms.

Isso equivale a cerca de 830 frases por segundo. O segredo está no modelo estático: basicamente, uma tabela de vetores prontos.

Por que os modelos comuns não funcionam aqui

O problema tem duas partes. Primeiro, o tamanho. Um modelo pequeno e moderno de embeddings, em formato de 8 bits, ocupa 310 MB, e um modelo maior exige 4,28 GB. Diante de 16 MB de flash na placa, isso não é uma questão de otimização, e sim de incompatibilidade total. Segundo, o cálculo: os transformers são baseados em multiplicações de matrizes pesadas e costumam arrastar dependências volumosas, como o PyTorch.

Em dispositivos com SO, vários núcleos e gigabytes de memória, nada disso é um problema. Numa placa com alguns megabytes de flash, sem disco e sem sistema operacional, não há como. Os autores são diretos ao resumir: não dá para rodar um modelo de embeddings convencional em "hardware puro".

O modelo estático como tabela de palavras

A saída foi encontrada nos modelos estáticos de embeddings, que são simples: cada token do vocabulário tem seu próprio vetor previamente armazenado. Para obter o embedding de uma frase, basta dividir o texto em tokens, buscar a linha correspondente a cada um na tabela, calcular a média e, se necessário, normalizar o resultado. Não há camadas de rede neural nem multiplicações de matrizes.

Entre os modelos prontos, o candidato adequado foi o potion-base-2M, que ocupa apenas 7,5 MB e cabe com folga nos 16 MB de flash da placa. Resta a questão de como levar o modelo e o vocabulário até o chip, já que não há de onde ler arquivos.

Como tudo isso couberam no firmware

O código é escrito em Rust no modo sem biblioteca padrão (no_std): ele se comunica diretamente com o hardware e não conta com serviços do SO. Por causa disso, foi preciso resolver três problemas.

O primeiro foram os pesos. Um script de build executado no notebook lê o arquivo do modelo no formato safetensors, localiza a tabela de embeddings e gera constantes: o tamanho do vocabulário e onde começam e terminam os bytes dos pesos. Em seguida, o modelo inteiro é incorporado ao binário do firmware. Se o arquivo estiver malformado, o erro aparece na compilação, e não no dispositivo. No chip, os pesos são simplesmente lidos da memória.

O segundo foi o tokenizador. A biblioteca de tokenizadores da Hugging Face não pode ser usada, porque depende da biblioteca padrão. Por isso, os autores implementaram o algoritmo WordPiece por conta própria. Ele busca de forma gulosa o maior fragmento da palavra que existe no vocabulário, separa esse trecho e repete o processo com o restante. Somando a normalização do texto (remoção de caracteres de controle e acentos, tratamento de ideogramas chineses, conversão para minúsculas) e a divisão por espaços e pontuação, o código tem pouco mais de 200 linhas.

O terceiro foi o vocabulário. Normalmente ele é uma tabela hash, mas a placa não tem essa estrutura. Assim, no momento do build, o vocabulário é empacotado em um bloco de dados compacto: primeiro o número de registros, depois um índice de slots de tamanho fixo com os deslocamentos, e por fim os registros em ordem ordenada. Cada registro contém um identificador de 4 bytes, 1 byte de tamanho e os bytes do token. A busca de um identificador a partir de uma string é feita por busca binária comum. Algumas operações exigem heap, fornecido por um alocador próprio.

O que foi obtido e quais são as limitações

Uma frase de 10 a 12 tokens se transforma em um embedding em cerca de 1,2 ms, o que dá aproximadamente 830 embeddings por segundo. Em um MacBook Pro, a mesma abordagem alcança 11 000 a 15 000 embeddings por segundo, porém com textos bem mais longos. Em compensação, o chip precisa de cerca de 3000 vezes menos memória.

As limitações são evidentes. O modelo estático não entende o contexto como um transformer: o vetor é construído pela média das contribuições de cada token. Para consultas curtas, comandos e buscas semânticas simples em uma base pequena, isso pode bastar; para tarefas mais sutis, como distinguir formulações de sentido parecido, dificilmente. A velocidade também não é um recorde, embora isso não seja crítico para dispositivos com consultas esporádicas.

A conclusão prática para desenvolvedores de sistemas embarcados é esta: se você precisa de embeddings em um microcontrolador, não tente comprimir um transformer; comece por um modelo estático. Para ele bastam a tabela de pesos, o vocabulário e um laço de média. A Qdrant chama isso de primeira metade do trabalho e promete, na sequência, busca vetorial diretamente no chip. O código completo foi publicado no blog da empresa.

História

Perguntas frequentes sobre a notícia

Por que os modelos comuns não funcionam aqui?

O problema tem duas partes. Primeiro, o tamanho. Um modelo pequeno e moderno de embeddings, em formato de 8 bits, ocupa 310 MB, e um modelo maior exige 4,28 GB. Diante de 16 MB de flash na placa, isso não é uma questão de otimização, e sim de incompatibilidade total. Segundo, o cálculo: os transformers são baseados em multiplicações de matrizes pesadas e costumam arrastar dependências volumosas, como o PyTorch. Em dispositivos com SO, vários núcleos e gigabytes de memória, nada disso é um problema.

O que se sabe sobre O modelo estático como tabela de palavras?

A saída foi encontrada nos modelos estáticos de embeddings, que são simples: cada token do vocabulário tem seu próprio vetor previamente armazenado. Para obter o embedding de uma frase, basta dividir o texto em tokens, buscar a linha correspondente a cada um na tabela, calcular a média e, se necessário, normalizar o resultado. Não há camadas de rede neural nem multiplicações de matrizes.

Como tudo isso couberam no firmware?

O código é escrito em Rust no modo sem biblioteca padrão (no_std): ele se comunica diretamente com o hardware e não conta com serviços do SO. Por causa disso, foi preciso resolver três problemas. O primeiro foram os pesos. Um script de build executado no notebook lê o arquivo do modelo no formato safetensors, localiza a tabela de embeddings e gera constantes: o tamanho do vocabulário e onde começam e terminam os bytes dos pesos. Em seguida, o modelo inteiro é incorporado ao binário do firmware.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…