Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Après un bannissement de Claude, un développeur a sauvegardé un an de conversations grâce à une base SQLite de 146 Mo

Anthropic a bloqué le compte Claude de l'auteur (il soupçonne un VPN), et son abonnement à 100 $ est parti en fumée. Il a néanmoins pu exporter l'archive de conversations, de 146 Mo, soit environ 46 millions de caractères : impossible de tout faire tenir dans le contexte d'un chat. Il a donc découpé l'archive en environ 12 000 fragments et les a rangés dans SQLite (une base légère tenant dans un seul fichier). L'agent n'en extrait que quelques passages pertinents, ce qui correspond au principe du RAG. Pour une archive personnelle de cette taille, une base vectorielle dédiée n'est pas nécessaire.

Traité par IA depuis Habr AI ; édité par Hamidun News
Après un bannissement de Claude, un développeur a sauvegardé un an de conversations grâce à une base SQLite de 146 Mo
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
La recherche est hybridepar mots-clés (FTS5, BM25) et par sens, avec une fusion RRF à K = 10
Chiffre clé #2Le Markdown dans Obsidian reste la source d'origine ; l'index SQLite peut être reconstruit à tout moment
Chiffre clé #3L'agent accède à la base via un serveur MCP, et ses règles sont définies dans AGENTS.md

Imaginez : pendant plus d'un an, vous passez chaque jour plusieurs heures avec un assistant IA, vous discutez de projets, prenez des décisions et notez pourquoi vous avez choisi une option plutôt qu'une autre. Puis, un jour, votre compte est bloqué. C'est exactement ce qui est arrivé à l'auteur d'une note publiée sur Habr : Anthropic lui a fermé l'accès à Claude, selon lui à cause de son pays et d'une connexion via VPN.

L'abonnement à 100 $ est perdu, mais c'est la perte de l'historique qui l'inquiétait davantage. Heureusement, il a pu exporter l'archive de conversations de 146 Mo (environ 46 millions de caractères). Il a ensuite mis en place un RAG : on désigne ainsi un schéma dans lequel l'IA ne lit pas tout, mais retrouve, à partir de la question, quelques fragments pertinents dans votre base et répond en s'appuyant sur eux.

La base est stockée dans SQLite, une base de données légère tenant dans un seul fichier, et contient environ 12 000 fragments.

Pourquoi on ne peut pas simplement joindre l'archive à un chat

L'export comprenait les conversations Claude.ai, les sessions locales de Claude Code, la mémoire, les projets et les artefacts. Le fichier conversations.json pesait environ 146 Mo, et le cyrillique y était encodé en séquences d'échappement du type \u041f. Impossible de le charger dans un nouveau chat : la fenêtre de contexte n'est pas extensible. Et même si c'était possible, cela ne résoudrait pas le problème. L'auteur veut poser une question sur un projet ou une décision précise et obtenir quelques passages utiles, pas traîner avec lui une année de dialogues.

Il n'a pas non plus confié l'analyse de l'archive à des sous-agents : l'agent principal oublie parfois ses workers, ceux-ci écrivent chacun à leur manière, et la fusion des résultats consomme encore davantage de tokens. Il a préféré écrire des scripts déterministes classiques. Ils transfèrent les conversations, la mémoire et les artefacts, et génèrent un INDEX.md. Les noms de projets passent par une table d'alias, car un même projet pouvait être désigné de différentes façons dans les chats. Le script lit la source une seule fois, et le modèle ne dépense pas de tokens sur des millions de caractères. Après le premier transfert, l'auteur a retouché la structure à la main, et les scripts n'écrasent rien.

Markdown comme original, SQLite comme index

La base vit dans Obsidian sous forme de fichiers ordinaires : Memory (profil et préférences), Projects, Topics et Artifacts. La règle est simple : le Markdown fait foi, SQLite n'est qu'un index, que l'on peut supprimer et reconstruire. Si l'auteur corrige un fichier dans Obsidian, c'est cette correction qui compte.

Il n'a pas déployé de base vectorielle séparée. Pour 12 000 chunks (on appelle ainsi les morceaux de texte issus du découpage des documents pour la recherche), SQLite suffit. Elle contient les fichiers, les fragments, l'index plein texte FTS5 et les embeddings, c'est-à-dire les « empreintes de sens » numériques, stockés sous forme de tableaux binaires float32. La similarité est calculée par numpy, par simple parcours. Si le volume de données augmente de plusieurs ordres de grandeur ou si les mesures révèlent un problème, l'architecture pourra être remplacée.

Le découpage s'appuie sur les titres et les paragraphes, pour ne pas couper une idée en plein milieu. La taille cible d'un chunk est d'environ 600 tokens, avec un maximum de 1 000, et un nouveau titre ne clôt pas le chunk tant que celui-ci compte moins de 200 tokens. Chaque chunk conserve son titre et sa plage de lignes, si bien que la recherche renvoie une adresse du type « fichier.md, lignes 42–77 ».

Le contenu est réparti en deux niveaux. Le premier regroupe la mémoire, les notes et les fichiers de synthèse (environ 468 chunks), le second l'historique des conversations (plus de 11 000 chunks). Le premier niveau reçoit un coefficient de pondération au classement, afin que les anciens dialogues ne reléguent pas le profil ni CONTEXT.md.

La recherche est hybride : par mots-clés (FTS5 et BM25) et par sens (text-embedding-3-small, dimension 1536). Les deux listes sont fusionnées avec la méthode Reciprocal Rank Fusion : un fragment bien classé dans les deux remonte en tête. L'auteur a choisi K = 10, car avec une valeur plus élevée, l'écart entre les premières et les moyennes positions devenait trop faible.

MCP et leçons d'exploitation

L'accès à la base passe par un serveur MCP en stdio, en JSON-RPC 2.0. Le modèle dispose d'outils pour rechercher, lire une plage de lignes, charger le contexte d'un projet, écrire, compléter un fichier, enregistrer une note de décision, consulter le statut, lister les projets et réindexer. La lecture renvoie un hash du fichier, et une écriture accompagnée de ce hash signale un conflit si le fichier a entre-temps été modifié.

Le premier test a mis en évidence une faiblesse. À la question « comment je m'appelle ? », l'agent a répondu sans consulter la base : il a deviné le prénom à partir d'indices indirects présents dans le système. La règle de démarrage de session dans l'AGENTS.md global et un skill dédié, knowledge-first, chargé sur déclencheur, ont corrigé le tir. Il ne suffit pas de connecter un outil : il faut obliger le modèle à s'en servir.

L'index est synchronisé avec le disque au plus une fois toutes les 10 secondes, et le parcours de plusieurs centaines de fichiers prend environ 0,03 seconde. Si l'API d'embeddings est indisponible, une note fraîche reste trouvable par mots-clés, et son vecteur est calculé plus tard.

Une autre leçon concerne le diagnostic. Les requêtes vers le fournisseur d'embeddings restaient bloquées, alors que curl affichait des réponses tronquées. Il s'est avéré que, sur macOS, curl passait directement, tandis que Python utilisait le proxy système. Depuis le runtime Python, six chunks ont reçu leurs embeddings en quatre secondes. Il faut tester le chemin réseau que l'application utilise elle-même.

Ce qu'il faut en retenir

Il s'agit d'un projet personnel sur un seul corpus, et non d'une recette universelle : à grande échelle, le choix de SQLite devra être réexaminé. La conclusion pratique pour les développeurs est la suivante : exportez régulièrement vos données depuis les services d'IA et conservez vos connaissances dans des fichiers ordinaires. Pour un petit RAG, SQLite, une recherche hybride et quelques règles claires pour l'agent suffisent souvent.

Dossier

Questions clés sur cet article

Pourquoi on ne peut pas simplement joindre l'archive à un chat?

L'export comprenait les conversations Claude.ai, les sessions locales de Claude Code, la mémoire, les projets et les artefacts. Le fichier conversations.json pesait environ 146 Mo, et le cyrillique y était encodé en séquences d'échappement du type \u041f. Impossible de le charger dans un nouveau chat : la fenêtre de contexte n'est pas extensible. Et même si c'était possible, cela ne résoudrait pas le problème.

Que sait-on sur Markdown comme original, SQLite comme index ?

La base vit dans Obsidian sous forme de fichiers ordinaires : Memory (profil et préférences), Projects, Topics et Artifacts. La règle est simple : le Markdown fait foi, SQLite n'est qu'un index, que l'on peut supprimer et reconstruire. Si l'auteur corrige un fichier dans Obsidian, c'est cette correction qui compte. Il n'a pas déployé de base vectorielle séparée. Pour 12 000 chunks (on appelle ainsi les morceaux de texte issus du découpage des documents pour la recherche), SQLite suffit.

Que sait-on sur MCP et leçons d'exploitation ?

L'accès à la base passe par un serveur MCP en stdio, en JSON-RPC 2.0. Le modèle dispose d'outils pour rechercher, lire une plage de lignes, charger le contexte d'un projet, écrire, compléter un fichier, enregistrer une note de décision, consulter le statut, lister les projets et réindexer. La lecture renvoie un hash du fichier, et une écriture accompagnée de ce hash signale un conflit si le fichier a entre-temps été modifié. Le premier test a mis en évidence une faiblesse. À la question « comment je m'appelle ?

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…