Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоКод / SDK · В работуHabr AI→ оригинал

Разработчик обошёлся без Pinecone: поиск по 72 450 фрагментам кода за 50 мс

Обычно для поиска по своим файлам советуют платный OpenAI API и облачную базу Pinecone. Разработчик из Самары обошёлся без них: нарезал 18 проектов на 72 450 фрагментов (чанков) и уложил в один файл SQLite на 110 МБ. Поиск на обычном процессоре занимает до 50 миллисекунд, а эмбеддинги, то есть числовые «отпечатки» текста, обходятся в 0 рублей. Вывод: RAG нужен как навигатор по чужим репозиториям, текущий проект проще читать напрямую.

AI-обработка оригинала Habr AI; редакция Hamidun News
Разработчик обошёлся без Pinecone: поиск по 72 450 фрагментам кода за 50 мс
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Фильтр по project_id в SQL2 300 чанков отбираются за 2 мс
Ключевой факт #2Репозиторий n8n добавил 38 тысяч чанков и вытеснял код Deckor из топ-8
Ключевой факт #3800 тестов pytest проверяют параллельные запросы к базе

Когда проектов становится много, ИИ-агент забывает, где что лежит: контекст чата рассыпается, а нужный кусок кода приходится искать вручную. Стандартный совет из интернета — взять LangChain, подключить платный OpenAI API и хранить векторы в облачной базе Pinecone. Автор разбора на Habr, 22-летний AI/ML-инженер и магистрант Самарского университета, платить за каждый запрос не захотел.

Он нарезал 18 своих проектов на 72 450 чанков (так называют небольшие фрагменты текста или кода, по которым ищут) и сложил их в один файл SQLite — это обычная встроенная база данных без отдельного сервера. Файл весит 110 МБ, а поиск по всем фрагментам на обычном процессоре занимает до 50 миллисекунд, то есть в двадцатую долю секунды. За эмбеддинги, числовые «отпечатки» смысла текста, по которым и работает поиск, автор платит 0 рублей.

Получилась честная инженерная заметка о том, что ломается в такой системе и для чего RAG нужен на практике.

Как это устроено

Идея такая: генерацию ответов отдаём подписочной модели в IDE (Antigravity или Claude Code), а память, поиск и хранение держим у себя. Связь идёт через MCP, протокол подключения инструментов к агентам. Транспорт — обычные потоки ввода-вывода (stdio), поэтому веб-серверов и открытых портов нет. Код написан на чистом Python 3.12 без LangChain и LlamaIndex.

Поиск гибридный. Плотные векторы считаются на numpy и находят тексты, близкие по смыслу. Алгоритм Okapi BM25 находит точные совпадения слов. Два списка результатов склеиваются методом Reciprocal Rank Fusion: он объединяет места документов в обоих рейтингах.

Векторы лежат в SQLite как бинарные BLOB в формате float32. Один чанк — это 128 чисел, около 512 байт. По словам автора, в простое база не занимает оперативную память. 800 тестов pytest проверяют, что она не течёт и выдерживает параллельные запросы.

Три бага, которые стоит знать заранее

Первый — несовпадение размерностей. Документы проиндексировали локальным провайдером с 128 числами на вектор, а запасная модель FastEmbed по умолчанию выдавала 384. Первый же запрос упал с ошибкой Embedding dimension mismatch. Переиндексировать всё при смене модели автор не стал. Он добавил адаптер: слишком длинный запрос усекается, короткий дополняется нулями. Но есть оговорка: векторы разных моделей живут в разных пространствах. Адаптер убирает ошибку, а качество выдачи не гарантирует. Для серьёзной работы безопаснее переиндексировать данные под одну модель.

Второй — пути Windows. Запрос LIKE '%Deckor%' по путям с обратными слэшами возвращал ноль строк. Автор связывает это с тем, что в некоторых конфигурациях слэш трактуется как escape-символ. Помогла замена на INSTR(LOWER(doc_id), LOWER(?)) > 0: функция не использует escape-последовательности и, по замерам автора, работает быстрее.

Третий — «слоновьи репозитории». Репозиторий n8n добавил 38 тысяч чанков локализаций и тестов. Из-за него топ-8 по запросу «каркас брус» заполнялся чужими фрагментами раньше, чем доходила очередь до нужного проекта Deckor. Решение — передавать project_id прямо в SQL-запрос. Тогда база отдаёт только 2 300 чанков нужного проекта за 2 мс, а остальные не попадают даже в расчёт косинусного сходства (меры близости двух векторов). Правило пригодится всем, кто собирает RAG по нескольким источникам: фильтруйте до расчёта сходства, а не после.

Зачем RAG нужен на самом деле

Самый практичный вывод касается поведения модели. Агент упорно читал файлы напрямую через терминал или grep и игнорировал готовый RAG. Автор сначала злился, а потом согласился с моделью. Если нужна строка 20 в CLAUDE.md, прямое чтение даёт стопроцентную точность за миллисекунды. Векторный поиск тут добавляет только шум и риск получить обрезанный кусок кода без импортов.

Поэтому автор прописал агенту протокол маршрутизации. Текущий репозиторий читается напрямую через read_file и grep. Внешние проекты и архивы, где больше сотни файлов, агент обходит через rag_search. Этот поиск работает как радар: он подсказывает, что логика примагничивания узлов лежит в builder.py и custom.py. Дальше агент сам открывает эти файлы и берёт точные формулы и константы вроде NODE_PX=11 и AXIS_PX=9. Связка «RAG-навигатор плюс точечное чтение» работает за секунду и экономит десятки тысяч токенов контекста.

Что учесть

Это личный проект одного разработчика, и все цифры (50 мс, 0 МБ памяти в простое, экономия токенов) приведены самим автором. Независимых замеров нет. Полный перебор векторов в numpy подойдёт для десятков тысяч чанков, на миллионах придётся думать о приближённых индексах. Тем не менее для личной базы знаний, внутренних документов команды или навигации агента по старым репозиториям схема выглядит рабочей и дешёвой. Исходники автор выложил на GitHub в репозитории antigravity-local-core.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это устроено?

Идея такая: генерацию ответов отдаём подписочной модели в IDE (Antigravity или Claude Code), а память, поиск и хранение держим у себя. Связь идёт через MCP, протокол подключения инструментов к агентам. Транспорт — обычные потоки ввода-вывода (stdio), поэтому веб-серверов и открытых портов нет. Код написан на чистом Python 3.12 без LangChain и LlamaIndex. Поиск гибридный. Плотные векторы считаются на numpy и находят тексты, близкие по смыслу. Алгоритм Okapi BM25 находит точные совпадения слов.

Что известно по теме: три бага, которые стоит знать заранее?

Первый — несовпадение размерностей. Документы проиндексировали локальным провайдером с 128 числами на вектор, а запасная модель FastEmbed по умолчанию выдавала 384. Первый же запрос упал с ошибкой Embedding dimension mismatch. Переиндексировать всё при смене модели автор не стал. Он добавил адаптер: слишком длинный запрос усекается, короткий дополняется нулями. Но есть оговорка: векторы разных моделей живут в разных пространствах. Адаптер убирает ошибку, а качество выдачи не гарантирует.

Что известно по теме: зачем RAG нужен на самом деле?

Самый практичный вывод касается поведения модели. Агент упорно читал файлы напрямую через терминал или grep и игнорировал готовый RAG. Автор сначала злился, а потом согласился с моделью. Если нужна строка 20 в CLAUDE.md, прямое чтение даёт стопроцентную точность за миллисекунды. Векторный поиск тут добавляет только шум и риск получить обрезанный кусок кода без импортов. Поэтому автор прописал агенту протокол маршрутизации. Текущий репозиторий читается напрямую через read_file и grep.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…