Desenvolvedor dispensou o Pinecone: busca em 72 450 trechos de código em 50 ms
Para buscar nos próprios arquivos, o conselho comum é usar a API paga da OpenAI e o banco em nuvem Pinecone. Um desenvolvedor de Samara dispensou os dois: dividiu 18 projetos em 72 450 trechos (chunks) e guardou tudo em um único arquivo SQLite de 110 MB. A busca, rodando em um processador comum, leva até 50 milissegundos, e os embeddings, as "impressões digitais" numéricas do texto, custam 0 rublo. A conclusão: o RAG serve como navegador por repositórios alheios, enquanto o projeto atual é mais simples de ler diretamente.
Processado por IA de Habr AI; editado por Hamidun News
Quando os projetos se multiplicam, o agente de IA esquece onde está cada coisa: o contexto do chat se dispersa e o trecho de código necessário precisa ser procurado à mão. O conselho padrão da internet é usar o LangChain, conectar a API paga da OpenAI e guardar os vetores no banco em nuvem Pinecone. O autor da análise no Habr, um engenheiro de AI/ML de 22 anos e mestrando da Universidade de Samara, não quis pagar por cada consulta.
Ele dividiu 18 projetos próprios em 72 450 chunks (como se chamam os pequenos fragmentos de texto ou código sobre os quais a busca é feita) e os reuniu em um único arquivo SQLite, um banco de dados embutido comum, sem servidor separado. O arquivo pesa 110 MB, e a busca por todos os fragmentos em um processador comum leva até 50 milissegundos, ou seja, a vigésima parte de um segundo. Pelos embeddings, as "impressões digitais" numéricas do sentido do texto em que a busca se baseia, o autor paga 0 rublo.
O resultado é uma nota de engenharia honesta sobre o que quebra nesse tipo de sistema e para que o RAG serve na prática.
Como funciona
A ideia é a seguinte: a geração de respostas fica com o modelo de assinatura dentro da IDE (Antigravity ou Claude Code), enquanto memória, busca e armazenamento ficam sob controle do autor. A conexão passa pelo MCP, o protocolo de conexão de ferramentas a agentes. O transporte usa os fluxos comuns de entrada e saída (stdio), por isso não há servidores web nem portas abertas. O código foi escrito em Python 3.12 puro, sem LangChain e LlamaIndex.
A busca é híbrida. Os vetores densos são calculados com numpy e encontram textos próximos em significado. O algoritmo Okapi BM25 encontra coincidências exatas de palavras. As duas listas de resultados são combinadas pelo método Reciprocal Rank Fusion, que une as posições dos documentos nos dois rankings.
Os vetores ficam no SQLite como BLOB binário no formato float32. Cada chunk tem 128 números, cerca de 512 bytes. Segundo o autor, em repouso o banco não ocupa memória RAM. 800 testes pytest verificam que não há vazamento e que o banco suporta consultas paralelas.
Três bugs que vale conhecer de antemão
O primeiro é a incompatibilidade de dimensões. Os documentos foram indexados por um provedor local com 128 números por vetor, mas o modelo reserva FastEmbed gerava 384 por padrão. A primeira consulta já falhou com o erro Embedding dimension mismatch. O autor não quis reindexar tudo a cada troca de modelo. Ele adicionou um adaptador: consulta longa demais é truncada, e a curta é completada com zeros. Há, porém, uma ressalva: vetores de modelos diferentes vivem em espaços diferentes. O adaptador elimina o erro, mas não garante a qualidade dos resultados. Para um trabalho sério, é mais seguro reindexar os dados com um único modelo.
O segundo são os caminhos do Windows. A consulta LIKE '%Deckor%' em caminhos com barras invertidas retornava zero linhas. O autor atribui isso ao fato de que, em algumas configurações, a barra é tratada como caractere de escape. A solução foi trocar por INSTR(LOWER(doc_id), LOWER(?)) > 0: a função não usa sequências de escape e, segundo as medições do autor, é mais rápida.
O terceiro são os "repositórios elefante". O repositório n8n adicionou 38 mil chunks de localizações e testes. Por causa dele, o top-8 da consulta "каркас брус" (estrutura de madeira) se enchia de fragmentos alheios antes que chegasse a vez do projeto Deckor, o procurado. A solução é passar o project_id direto na consulta SQL. Assim, o banco devolve apenas os 2 300 chunks do projeto certo em 2 ms, e os demais nem entram no cálculo da similaridade de cosseno (a medida de proximidade entre dois vetores). A regra vale para quem monta um RAG com várias fontes: filtre antes de calcular a similaridade, não depois.
Para que o RAG serve de verdade
A conclusão mais prática diz respeito ao comportamento do modelo. O agente insistia em ler os arquivos diretamente pelo terminal ou com grep e ignorava o RAG pronto. O autor primeiro se irritou e depois concordou com o modelo. Se é preciso a linha 20 do CLAUDE.md, a leitura direta dá precisão de cem por cento em milissegundos. A busca vetorial só acrescenta ruído e o risco de receber um trecho de código cortado, sem os imports.
Por isso, o autor definiu para o agente um protocolo de roteamento. O repositório atual é lido diretamente com read_file e grep. Projetos externos e arquivos com mais de cem arquivos o agente percorre com rag_search. Essa busca funciona como um radar: indica, por exemplo, que a lógica de encaixe magnético de nós está em builder.py e custom.py. Depois, o próprio agente abre esses arquivos e pega as fórmulas e constantes exatas, como NODE_PX=11 e AXIS_PX=9. A combinação "navegador RAG mais leitura pontual" funciona em um segundo e economiza dezenas de milhares de tokens de contexto.
O que considerar
É um projeto pessoal de um único desenvolvedor, e todos os números (50 ms, 0 MB de memória em repouso, economia de tokens) foram informados pelo próprio autor. Não há medições independentes. A busca exaustiva de vetores em numpy serve para dezenas de milhares de chunks; na casa dos milhões, será preciso pensar em índices aproximados. Ainda assim, para uma base de conhecimento pessoal, documentos internos de uma equipe ou a navegação de um agente por repositórios antigos, o esquema parece viável e barato. O autor publicou o código-fonte no GitHub, no repositório antigravity-local-core.
- 21 de nov. de 2026Apple prepara um agente de IA e dificulta o acesso de terceiros: a permissão agora tem 14 etapas, e não 4
- 21 de nov. de 2026Gemini 4 Neon reduziu o binário do TS Rust de 47,44 MB para 7,97 MB em menos de 10 horas
- 21 de nov. de 2026As vagas de FDE cresceram 4,6 vezes em um ano: o que faz o engenheiro no cliente
- 21 de nov. de 2026Capitã de equipe de natação entregou três tarefas ao ChatGPT pela agenda e cortou a rotina em muitas vezes
Perguntas frequentes sobre a notícia
Como funciona?
A ideia é a seguinte: a geração de respostas fica com o modelo de assinatura dentro da IDE (Antigravity ou Claude Code), enquanto memória, busca e armazenamento ficam sob controle do autor. A conexão passa pelo MCP, o protocolo de conexão de ferramentas a agentes. O transporte usa os fluxos comuns de entrada e saída (stdio), por isso não há servidores web nem portas abertas. O código foi escrito em Python 3.12 puro, sem LangChain e LlamaIndex. A busca é híbrida.
O que se sabe sobre Três bugs que vale conhecer de antemão?
O primeiro é a incompatibilidade de dimensões. Os documentos foram indexados por um provedor local com 128 números por vetor, mas o modelo reserva FastEmbed gerava 384 por padrão. A primeira consulta já falhou com o erro Embedding dimension mismatch. O autor não quis reindexar tudo a cada troca de modelo. Ele adicionou um adaptador: consulta longa demais é truncada, e a curta é completada com zeros. Há, porém, uma ressalva: vetores de modelos diferentes vivem em espaços diferentes.
O que se sabe sobre Para que o RAG serve de verdade?
A conclusão mais prática diz respeito ao comportamento do modelo. O agente insistia em ler os arquivos diretamente pelo terminal ou com grep e ignorava o RAG pronto. O autor primeiro se irritou e depois concordou com o modelo. Se é preciso a linha 20 do CLAUDE.md, a leitura direta dá precisão de cem por cento em milissegundos. A busca vetorial só acrescenta ruído e o risco de receber um trecho de código cortado, sem os imports. Por isso, o autor definiu para o agente um protocolo de roteamento.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.