Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarLanceDB Blog→ original

Lance ajoute des branches aux datasets, comme dans Git : les expériences ne perturbent pas la production

Expérimenter sur un dataset de production fait peur : on peut abîmer quelque chose ou ralentir les requêtes en cours. Dans Lance, chaque branche dispose de son propre dossier : les nouveaux fichiers y sont écrits, tandis que les anciennes données sont récupérées depuis le dataset principal par simple référence, sans copie. Écrire dans une branche n'entre pas en conflit avec la production, et les droits peuvent être séparés : le dataset principal reste en lecture seule. Pour les équipes ML, cela permet d'expérimenter sur des données vivantes sans multiplier les copies.

Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Lance ajoute des branches aux datasets, comme dans Git : les expériences ne perturbent pas la production
Source : LanceDB Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireLanceDB Blog ↗
Rédacteur en chef
Chiffre clé #1Les tags sont des étiquettes de version immuables, que ni le retour arrière ni le ramasse-miettes ne suppriment.
Chiffre clé #2Une branche conserve son propre historique de versions, si bien que le time travel y fonctionne.
Chiffre clé #3ByteDance et Netflix ont demandé cette fonctionnalité pour leurs expériences d'IA.

Quiconque a préparé des données pour entraîner un modèle connaît ce dilemme. Le dataset est vivant, la production tourne dessus, et vous devez tester un nouvel étiquetage, un autre jeu de features ou une augmentation de données. Copier des téraoctets est peu pratique et coûteux. Expérimenter directement sur la table de production est risqué. L'auteur de Lance et l'un des créateurs du branchement dans Apache Iceberg a présenté dans le blog de LanceDB une approche censée lever ce dilemme : branches, tags et « clonage léger » dans un même modèle.

Pourquoi les branches d'Iceberg et les clones de Delta ne convenaient pas

Dans Iceberg, où l'auteur avait imaginé les branches et les tags dès 2021, tout fonctionne presque comme dans Git : le fichier de métadonnées de la table contient une liste de références nommées vers des snapshots. Les tags protègent les versions utiles du nettoyage, et les branches permettent d'accumuler des modifications et de les vérifier avant publication. Pour l'audit et le schéma « écrire, vérifier, publier », cela fonctionne bien. Pour les expériences ML, c'était moins adapté, et ce pour trois raisons.

La première est la performance. Toute opération sur n'importe quelle branche met à jour le fichier de métadonnées commun, si bien que les écritures fréquentes dans une branche expérimentale entrent en conflit avec les commits de production et invalident les caches de lecture. La deuxième est l'isolation insuffisante : les fichiers des branches se trouvent dans le même dossier, avec les mêmes droits d'accès, de sorte qu'il est impossible d'accorder à la production un accès en lecture seule tout en autorisant l'écriture sur une branche. La troisième concerne la comptabilité : dans l'audit, les requêtes sur une branche et celles sur la production sont indiscernables, et l'espace consommé par les expériences est imputé au budget de la table principale.

Dans Delta Lake, un shallow clone existe depuis fin 2022 : on crée une table distincte qui référence les fichiers de la table source par chemins absolus. Elle dispose de ses propres droits, quotas et audit, et ses nouvelles données sont écrites dans son propre dossier. L'auteur reconnaît avoir longtemps considéré ce modèle comme le meilleur.

Le fonctionnement dans Lance

Sa position a changé lorsque ByteDance et Netflix ont demandé, indépendamment l'un de l'autre, des branches dans Lance pour leurs expériences d'IA. Leurs arguments sont les suivants. Une branche reste toujours liée à la table parente, si bien que l'origine d'une expérience est visible sans système de lineage séparé. Toutes les données restent dans un même dataset, et le nettoyage suit les règles de durée de vie des branches et des tags : un clone ne peut pas être oublié par erreur, ce qui compte par exemple pour le RGPD. Enfin, le principe « créer une branche, expérimenter, fusionner ou jeter » est compris par n'importe quel développeur.

Le mécanisme repose sur le multi-base, un schéma où le manifeste du dataset énumère plusieurs chemins de base, et chaque fichier indique dans laquelle de ces bases il doit être lu. Il en découle trois éléments :

  • Shallow clone. Un nouveau dataset indépendant, avec son propre emplacement et son propre historique de versions. Les fragments hérités sont lus depuis la source via un seul chemin de base, et non via un chemin absolu pour chaque fichier comme dans Delta. Aucune donnée n'est copiée, seules des métadonnées sont créées.
  • Tags. Des pointeurs nommés et immuables vers des versions, stockés dans des fichiers distincts. Dans Iceberg, les tags sont conservés dans les métadonnées de la table et subissent les effets d'un retour arrière. Dans Lance, le retour arrière de versions ne les affecte pas, et les versions marquées ne sont pas supprimées par le ramasse-miettes.
  • Branches. Il s'agit en pratique d'un petit clone à l'intérieur du dossier du dataset source, plus un enregistrement indiquant à partir de quel point la branche a divergé.

Une différence importante avec Git et Iceberg : Lance suit une branche non pas par son dernier commit, mais par son point de création. Les métadonnées de la branche ne conservent que la branche parente et la version de départ. Tous les commits suivants sont écrits dans le dossier propre à la branche, avec leurs propres manifestes et fichiers. L'auteur estime cette approche la mieux adaptée aux tables de plusieurs pétaoctets et de millions de fichiers.

Ce que cela apporte concrètement

Une écriture dans une branche ne touche pas aux métadonnées de la branche principale, ce qui évite les conflits de commits et l'invalidation des caches. Les données d'une branche se trouvent physiquement dans un répertoire distinct, et au niveau du stockage on peut accorder le droit « lire la production, écrire uniquement dans la branche ». L'audit montre quelle activité relève de la branche, et les coûts de stockage sont calculés par branche. En outre, chaque branche possède son historique complet de versions, et le time travel y fonctionne, ce qui n'est pas le cas dans Iceberg. Il est aussi possible de créer des branches imbriquées, par exemple deux variantes d'un test A/B à partir d'une branche d'expérimentation commune.

En Python, la démarche est familière : écrire le dataset, poser un tag sur une version (« baseline », « training-v1 »), ouvrir le dataset sur la version taguée, créer une branche avec create_branch, puis y ajouter les données expérimentales. Le dataset principal reste inchangé.

Limites

Il s'agit de la description de la conception par l'auteur du projet, et non d'un benchmark indépendant. L'article ne fournit aucun chiffre de performance ni d'économies, et la pratique devra montrer comment ce schéma se comporte sous forte charge. Le gain profitera surtout aux équipes qui stockent déjà leurs données d'entraînement dans Lance. Si vous utilisez Iceberg ou Delta, il est plus utile de retenir le principe lui-même : pour les expériences, il faut un dossier physique distinct avec des droits séparés, et pas seulement une étiquette logique dans une table commune.

Dossier

Questions clés sur cet article

Pourquoi les branches d'Iceberg et les clones de Delta ne convenaient pas?

Dans Iceberg, où l'auteur avait imaginé les branches et les tags dès 2021, tout fonctionne presque comme dans Git : le fichier de métadonnées de la table contient une liste de références nommées vers des snapshots. Les tags protègent les versions utiles du nettoyage, et les branches permettent d'accumuler des modifications et de les vérifier avant publication. Pour l'audit et le schéma « écrire, vérifier, publier », cela fonctionne bien. Pour les expériences ML, c'était moins adapté, et ce pour trois raisons.

Que sait-on sur Le fonctionnement dans Lance ?

Sa position a changé lorsque ByteDance et Netflix ont demandé, indépendamment l'un de l'autre, des branches dans Lance pour leurs expériences d'IA. Leurs arguments sont les suivants. Une branche reste toujours liée à la table parente, si bien que l'origine d'une expérience est visible sans système de lineage séparé.

Que sait-on sur Ce que cela apporte concrètement ?

Une écriture dans une branche ne touche pas aux métadonnées de la branche principale, ce qui évite les conflits de commits et l'invalidation des caches. Les données d'une branche se trouvent physiquement dans un répertoire distinct, et au niveau du stockage on peut accorder le droit « lire la production, écrire uniquement dans la branche ». L'audit montre quelle activité relève de la branche, et les coûts de stockage sont calculés par branche.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…