Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Após banimento do Claude, desenvolvedor salvou um ano de conversas: 146 MB viraram base em SQLite

A Anthropic bloqueou a conta do autor no Claude (ele suspeita do uso de VPN), a assinatura de US$ 100 foi perdida, mas a exportação do arquivo de conversas de 146 MB ainda foi permitida. São cerca de 46 milhões de caracteres, que não cabem no contexto de um chat. Por isso, ele dividiu o arquivo em aproximadamente 12 mil fragmentos e os guardou em SQLite (um banco de dados leve, em um único arquivo). O agente busca ali apenas os trechos necessários, e é isso que caracteriza o RAG. Para um arquivo pessoal desse tamanho, um banco vetorial separado não é necessário. A busca é híbrida: por palavras-chave (FTS5, BM25) e por significado, com fusão RRF usando K = 10. O Markdown no Obsidian é a fonte original; o índice SQLite pode ser reconstruído a qualquer momento. O agente acessa a base por meio de um servidor MCP, e as regras estão definidas no AGENTS.md.

Processado por IA de Habr AI; editado por Hamidun News
Após banimento do Claude, desenvolvedor salvou um ano de conversas: 146 MB viraram base em SQLite
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo

Imagine: por mais de um ano, você passa várias horas por dia trabalhando com um assistente de IA, discute projetos, toma decisões e anota por que escolheu uma opção e não outra. E, de repente, a conta é bloqueada. Foi exatamente isso que aconteceu com o autor de uma nota no Habr: a Anthropic fechou seu acesso ao Claude, segundo a versão dele por causa do país e da conexão via VPN.

A assinatura de US$ 100 foi perdida, mas o que mais o preocupava era a perda do histórico. Felizmente, a exportação do arquivo de conversas de 146 MB (cerca de 46 milhões de caracteres de texto) ainda foi permitida. Em seguida, ele montou um RAG: é assim que se chama o esquema em que a IA não lê tudo, mas encontra na sua base alguns fragmentos adequados à pergunta e responde com base neles.

A base é armazenada em SQLite, um banco de dados leve em um único arquivo, e contém cerca de 12 mil fragmentos.

Por que o arquivo não pode simplesmente ser anexado ao chat

A exportação incluía conversas do Claude.ai, sessões locais do Claude Code, memória, projetos e artefatos. O arquivo conversations.json tinha cerca de 146 MB, e os caracteres cirílicos estavam gravados em sequências de escape, como \u041f. Não é possível carregar isso em um novo chat: o contexto não é elástico. E, mesmo que fosse, isso não resolveria o problema. O autor precisa perguntar sobre um projeto ou uma decisão específica e receber alguns trechos relevantes, e não carregar um ano inteiro de diálogos.

Ele não quis processar o arquivo com subagentes: o agente gerenciador às vezes esquece seus workers, eles escrevem de maneiras diferentes e a consolidação dos resultados consome ainda mais tokens. Em vez disso, escreveu scripts determinísticos comuns. Eles transferem as conversas, a memória e os artefatos e geram o INDEX.md. Os nomes dos projetos são padronizados por uma tabela de aliases, já que um mesmo projeto podia aparecer com nomes diferentes nos chats. O script lê a fonte uma única vez, e o modelo não gasta tokens com milhões de caracteres. Depois da primeira transferência, o autor ajustou a estrutura manualmente, e os scripts não sobrescrevem nada.

Markdown como original, SQLite como índice

A base fica no Obsidian como arquivos comuns: Memory (perfil e preferências), Projects, Topics e Artifacts. A regra é simples: o Markdown é a fonte da verdade, e o SQLite é um índice que pode ser apagado e reconstruído. Se o autor corrigir um arquivo no Obsidian, essa correção é a que vale.

Ele não montou um banco vetorial separado. Para 12 mil chunks (é assim que se chamam os pedaços de texto em que os documentos são divididos para a busca), o SQLite é suficiente. Nele ficam os arquivos, os fragmentos, o índice de texto completo FTS5 e os embeddings, que são "impressões digitais de significado" em forma numérica, guardados como arrays binários float32. A similaridade é calculada pelo numpy por varredura simples. Se os dados crescerem ordens de grandeza ou as medições mostrarem algum problema, a arquitetura pode ser trocada.

A divisão segue os títulos e os parágrafos, para não cortar um raciocínio no meio. O tamanho-alvo de cada chunk é de cerca de 600 tokens, com máximo de 1000, e um novo título não fecha o chunk enquanto ele tiver menos de 200 tokens. Cada chunk preserva seu título e o intervalo de linhas, por isso a busca responde com um endereço como "arquivo.md, linhas 42–77".

O conteúdo está dividido em dois níveis. No primeiro estão a memória, as notas e os arquivos de visão geral (cerca de 468 chunks); no segundo, o histórico de conversas (mais de 11 mil chunks). O primeiro nível tem um fator de multiplicação no ranqueamento, para que diálogos antigos não empurrem para baixo o perfil e o CONTEXT.md.

A busca é híbrida: por palavras-chave (FTS5 e BM25) e por significado (text-embedding-3-small, dimensão 1536). As duas listas são combinadas pelo método Reciprocal Rank Fusion: um fragmento bem posicionado nas duas sobe para o topo. O autor escolheu K = 10, porque com um valor maior a diferença entre as posições do topo e do meio ficava achatada demais.

MCP e lições de operação

O acesso à base é feito por um servidor MCP via stdio com JSON-RPC 2.0. O modelo tem ferramentas para busca, leitura de intervalos de linhas, carregamento do contexto de um projeto, escrita, acréscimo, registro de uma nota de decisão, verificação de status, listagem de projetos e reindexação. A leitura devolve o hash do arquivo, e uma escrita com esse hash gera conflito se o arquivo tiver sido alterado nesse meio-tempo.

O primeiro teste revelou um ponto fraco. Diante da pergunta "qual é o meu nome?", o agente respondeu sem consultar a base: adivinhou o nome a partir de indícios indiretos no sistema. A solução foi uma regra de início de sessão no AGENTS.md global e uma skill separada, knowledge-first, carregada por gatilho. Ter a ferramenta disponível não basta: é preciso fazer o modelo usá-la.

O índice é sincronizado com o disco no máximo uma vez a cada 10 segundos, e a varredura de algumas centenas de arquivos leva cerca de 0,03 segundo. Se a API de embeddings estiver indisponível, uma nota recém-criada ainda pode ser encontrada por palavras-chave, e o vetor é calculado depois.

Outra lição foi de diagnóstico. As requisições ao provedor de embeddings travavam, enquanto o curl mostrava respostas truncadas. Descobriu-se que, no macOS, o curl ia direto pela rede, enquanto o Python usava o proxy do sistema. A partir do runtime do Python, seis chunks receberam embeddings em quatro segundos. É preciso testar pelo mesmo caminho de rede que a própria aplicação usa.

O que se conclui disso

Este é um projeto pessoal sobre um único corpus, e não uma receita universal: em volumes grandes, a escolha do SQLite terá de ser reavaliada. A conclusão prática para desenvolvedores é: exporte regularmente seus dados dos serviços de IA e guarde o conhecimento em arquivos comuns. Para um RAG pequeno, costumam bastar o SQLite, a busca híbrida e algumas regras claras para o agente.

História

Perguntas frequentes sobre a notícia

Por que o arquivo não pode simplesmente ser anexado ao chat?

A exportação incluía conversas do Claude.ai, sessões locais do Claude Code, memória, projetos e artefatos. O arquivo conversations.json tinha cerca de 146 MB, e os caracteres cirílicos estavam gravados em sequências de escape, como \u041f. Não é possível carregar isso em um novo chat: o contexto não é elástico. E, mesmo que fosse, isso não resolveria o problema. O autor precisa perguntar sobre um projeto ou uma decisão específica e receber alguns trechos relevantes, e não carregar um ano inteiro de diálogos.

O que se sabe sobre Markdown como original, SQLite como índice?

A base fica no Obsidian como arquivos comuns: Memory (perfil e preferências), Projects, Topics e Artifacts. A regra é simples: o Markdown é a fonte da verdade, e o SQLite é um índice que pode ser apagado e reconstruído. Se o autor corrigir um arquivo no Obsidian, essa correção é a que vale. Ele não montou um banco vetorial separado. Para 12 mil chunks (é assim que se chamam os pedaços de texto em que os documentos são divididos para a busca), o SQLite é suficiente.

O que se sabe sobre MCP e lições de operação?

O acesso à base é feito por um servidor MCP via stdio com JSON-RPC 2.0. O modelo tem ferramentas para busca, leitura de intervalos de linhas, carregamento do contexto de um projeto, escrita, acréscimo, registro de uma nota de decisão, verificação de status, listagem de projetos e reindexação. A leitura devolve o hash do arquivo, e uma escrita com esse hash gera conflito se o arquivo tiver sido alterado nesse meio-tempo. O primeiro teste revelou um ponto fraco.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…