После бана в Claude разработчик спас год переписок: 146 МБ стали базой на SQLite
Anthropic заблокировала аккаунт Claude автора (он грешит на VPN), подписка за $100 сгорела, но выгрузить архив переписок на 146 МБ всё же позволили. Это около 46 млн символов: в контекст чата такое не засунешь. Поэтому он нарезал архив на ~12 тысяч фрагментов и сложил в SQLite (лёгкая база в одном файле): агент достаёт оттуда пару нужных кусков — это и есть RAG. Для личного архива такого размера отдельная векторная база не нужна.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте: больше года вы каждый день по несколько часов работаете с ИИ-помощником, обсуждаете проекты, принимаете решения, записываете, почему выбрали один вариант, а не другой. И однажды аккаунт блокируют. Именно так вышло у автора заметки на Хабре: Anthropic закрыла ему доступ к Claude, по его версии из-за страны и подключения через VPN.
Подписка за $100 сгорела, но больше денег его беспокоила потеря истории. К счастью, архив переписок на 146 МБ (около 46 млн символов текста) выгрузить всё же позволили. Дальше он сделал RAG: так называют схему, при которой ИИ не читает всё подряд, а по вопросу находит в вашей базе несколько подходящих фрагментов и отвечает с опорой на них.
Хранится база в SQLite — лёгкой базе данных в одном файле, а фрагментов в ней около 12 тысяч.
Почему архив нельзя просто приложить к чату
Экспорт включал переписки Claude.ai, локальные сессии Claude Code, память, проекты и артефакты. Один файл conversations.json весил около 146 МБ, причём кириллица была записана escape-последовательностями вроде \u041f. Загрузить такое в новый чат нельзя: контекст не резиновый. Но даже если бы получилось, это не решило бы задачу. Автору нужно спросить про конкретный проект или решение и получить несколько нужных кусков, а не тащить с собой год диалогов.
Разбирать архив субагентами он не стал: управляющий агент иногда забывает своих воркеров, те пишут в разной манере, а на сведение результатов уходит ещё больше токенов. Вместо этого он написал обычные детерминированные скрипты. Они переносят переписки, память и артефакты и строят INDEX.md. Названия проектов приводятся через таблицу алиасов, потому что один проект в чатах мог называться по-разному. Скрипт читает исходник один раз, и модель не тратит токены на миллионы символов. После первого переноса автор поправил структуру руками, а скрипты ничего не затирают.
Markdown как оригинал, SQLite как индекс
База лежит в Obsidian в виде обычных файлов: Memory (профиль и предпочтения), Projects, Topics и Artifacts. Правило простое: Markdown — источник истины, SQLite — индекс, который можно удалить и пересобрать. Если автор поправит файл в Obsidian, верной считается именно эта правка.
Отдельную векторную базу он поднимать не стал. На 12 тысячах чанков (так называют кусочки текста, на которые режут документы для поиска) хватает SQLite. В ней лежат файлы, фрагменты, полнотекстовый индекс FTS5 и эмбеддинги — числовые «отпечатки смысла» — в виде бинарных массивов float32. Сходство считает numpy обычным перебором. Если данных станет на порядки больше или замеры покажут проблему, архитектуру можно заменить.
Нарезка идёт по заголовкам и абзацам, чтобы не рвать мысль посередине. Целевой размер чанка — около 600 токенов, максимум 1000, а новый заголовок не закрывает чанк, пока в нём меньше 200 токенов. У каждого чанка сохранены заголовок и диапазон строк, поэтому поиск отвечает адресом вроде «файл.md, строки 42–77».
Содержимое разделено на два уровня. В первый попали память, заметки и обзорные файлы (около 468 чанков), во второй — история переписок (больше 11 тысяч чанков). У первого уровня есть множитель при ранжировании, чтобы старые диалоги не вытесняли профиль и CONTEXT.md.
Поиск гибридный: по словам (FTS5 и BM25) и по смыслу (text-embedding-3-small, размерность 1536). Два списка объединяются методом Reciprocal Rank Fusion: фрагмент, высоко стоящий в обоих, поднимается выше. Автор выбрал K = 10, потому что при большем значении разница между верхними и средними позициями получалась слишком плоской.
MCP и уроки эксплуатации
Доступ к базе организован через MCP-сервер по stdio с JSON-RPC 2.0. У модели есть инструменты для поиска, чтения диапазона строк, загрузки контекста проекта, записи, дописывания, сохранения заметки о решении, проверки статуса, списка проектов и переиндексации. Чтение возвращает хеш файла, а запись с этим хешем даёт конфликт, если файл успели изменить.
Первая проверка выявила слабое место. На вопрос «как меня зовут?» агент ответил, не заглянув в базу: он угадал имя по косвенным признакам в системе. Помогли правило старта сессии в глобальном AGENTS.md и отдельный скилл knowledge-first, который подгружается по триггеру. Инструмент мало подключить, модель нужно заставить им пользоваться.
Индекс сверяется с диском не чаще раза в 10 секунд, обход нескольких сотен файлов занимает около 0,03 секунды. Если API эмбеддингов недоступен, свежая заметка находится по словам, а вектор досчитывается позже.
Ещё один урок — диагностика. Запросы к провайдеру эмбеддингов зависали, а curl показывал обрезанные ответы. Оказалось, что curl на macOS шёл напрямую, а Python использовал системный прокси. Из Python-рантайма шесть чанков получили эмбеддинги за четыре секунды. Проверять надо тот сетевой путь, которым пользуется само приложение.
Что из этого следует
Это личный проект на одном корпусе, а не универсальный рецепт: на больших объёмах выбор SQLite придётся пересматривать. Практический вывод для разработчиков такой: регулярно выгружайте свои данные из ИИ-сервисов и храните знания в обычных файлах. Для небольшого RAG часто достаточно SQLite, гибридного поиска и пары чётких правил для агента.
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
- 21 нояб. 2026 г.Китайские техногиганты удвоили траты на ИИ до $139 млрд, а лаборатории окупают меньше 8%
- 21 нояб. 2026 г.Браузер Ego lite дал каждому ИИ-агенту своё рабочее пространство Space
Вопросы и ответы по материалу
Что известно по теме: почему архив нельзя просто приложить к чату?
Экспорт включал переписки Claude.ai, локальные сессии Claude Code, память, проекты и артефакты. Один файл conversations.json весил около 146 МБ, причём кириллица была записана escape-последовательностями вроде \u041f. Загрузить такое в новый чат нельзя: контекст не резиновый. Но даже если бы получилось, это не решило бы задачу. Автору нужно спросить про конкретный проект или решение и получить несколько нужных кусков, а не тащить с собой год диалогов.
Что известно по теме: Markdown как оригинал, SQLite как индекс?
База лежит в Obsidian в виде обычных файлов: Memory (профиль и предпочтения), Projects, Topics и Artifacts. Правило простое: Markdown — источник истины, SQLite — индекс, который можно удалить и пересобрать. Если автор поправит файл в Obsidian, верной считается именно эта правка. Отдельную векторную базу он поднимать не стал. На 12 тысячах чанков (так называют кусочки текста, на которые режут документы для поиска) хватает SQLite.
Что известно по теме: MCP и уроки эксплуатации?
Доступ к базе организован через MCP-сервер по stdio с JSON-RPC 2.0. У модели есть инструменты для поиска, чтения диапазона строк, загрузки контекста проекта, записи, дописывания, сохранения заметки о решении, проверки статуса, списка проектов и переиндексации. Чтение возвращает хеш файла, а запись с этим хешем даёт конфликт, если файл успели изменить. Первая проверка выявила слабое место. На вопрос «как меня зовут?» агент ответил, не заглянув в базу: он угадал имя по косвенным признакам в системе.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.