Lance ajoute des branches aux datasets, comme dans Git : les expériences ne perturbent pas la production
Expérimenter sur un dataset de production fait peur : on peut abîmer quelque chose ou ralentir les requêtes en cours. Dans Lance, chaque branche dispose de son propre dossier : les nouveaux fichiers y sont écrits, tandis que les anciennes données sont récupérées depuis le dataset principal par simple référence, sans copie. Écrire dans une branche n'entre pas en conflit avec la production, et les droits peuvent être séparés : le dataset principal reste en lecture seule. Pour les équipes ML, cela permet d'expérimenter sur des données vivantes sans multiplier les copies.
Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Quiconque a préparé des données pour entraîner un modèle connaît ce dilemme. Le dataset est vivant, la production tourne dessus, et vous devez tester un nouvel étiquetage, un autre jeu de features ou une augmentation de données. Copier des téraoctets est peu pratique et coûteux. Expérimenter directement sur la table de production est risqué. L'auteur de Lance et l'un des créateurs du branchement dans Apache Iceberg a présenté dans le blog de LanceDB une approche censée lever ce dilemme : branches, tags et « clonage léger » dans un même modèle.
Pourquoi les branches d'Iceberg et les clones de Delta ne convenaient pas
Dans Iceberg, où l'auteur avait imaginé les branches et les tags dès 2021, tout fonctionne presque comme dans Git : le fichier de métadonnées de la table contient une liste de références nommées vers des snapshots. Les tags protègent les versions utiles du nettoyage, et les branches permettent d'accumuler des modifications et de les vérifier avant publication. Pour l'audit et le schéma « écrire, vérifier, publier », cela fonctionne bien. Pour les expériences ML, c'était moins adapté, et ce pour trois raisons.
La première est la performance. Toute opération sur n'importe quelle branche met à jour le fichier de métadonnées commun, si bien que les écritures fréquentes dans une branche expérimentale entrent en conflit avec les commits de production et invalident les caches de lecture. La deuxième est l'isolation insuffisante : les fichiers des branches se trouvent dans le même dossier, avec les mêmes droits d'accès, de sorte qu'il est impossible d'accorder à la production un accès en lecture seule tout en autorisant l'écriture sur une branche. La troisième concerne la comptabilité : dans l'audit, les requêtes sur une branche et celles sur la production sont indiscernables, et l'espace consommé par les expériences est imputé au budget de la table principale.
Dans Delta Lake, un shallow clone existe depuis fin 2022 : on crée une table distincte qui référence les fichiers de la table source par chemins absolus. Elle dispose de ses propres droits, quotas et audit, et ses nouvelles données sont écrites dans son propre dossier. L'auteur reconnaît avoir longtemps considéré ce modèle comme le meilleur.
Le fonctionnement dans Lance
Sa position a changé lorsque ByteDance et Netflix ont demandé, indépendamment l'un de l'autre, des branches dans Lance pour leurs expériences d'IA. Leurs arguments sont les suivants. Une branche reste toujours liée à la table parente, si bien que l'origine d'une expérience est visible sans système de lineage séparé. Toutes les données restent dans un même dataset, et le nettoyage suit les règles de durée de vie des branches et des tags : un clone ne peut pas être oublié par erreur, ce qui compte par exemple pour le RGPD. Enfin, le principe « créer une branche, expérimenter, fusionner ou jeter » est compris par n'importe quel développeur.
Le mécanisme repose sur le multi-base, un schéma où le manifeste du dataset énumère plusieurs chemins de base, et chaque fichier indique dans laquelle de ces bases il doit être lu. Il en découle trois éléments :
- Shallow clone. Un nouveau dataset indépendant, avec son propre emplacement et son propre historique de versions. Les fragments hérités sont lus depuis la source via un seul chemin de base, et non via un chemin absolu pour chaque fichier comme dans Delta. Aucune donnée n'est copiée, seules des métadonnées sont créées.
- Tags. Des pointeurs nommés et immuables vers des versions, stockés dans des fichiers distincts. Dans Iceberg, les tags sont conservés dans les métadonnées de la table et subissent les effets d'un retour arrière. Dans Lance, le retour arrière de versions ne les affecte pas, et les versions marquées ne sont pas supprimées par le ramasse-miettes.
- Branches. Il s'agit en pratique d'un petit clone à l'intérieur du dossier du dataset source, plus un enregistrement indiquant à partir de quel point la branche a divergé.
Une différence importante avec Git et Iceberg : Lance suit une branche non pas par son dernier commit, mais par son point de création. Les métadonnées de la branche ne conservent que la branche parente et la version de départ. Tous les commits suivants sont écrits dans le dossier propre à la branche, avec leurs propres manifestes et fichiers. L'auteur estime cette approche la mieux adaptée aux tables de plusieurs pétaoctets et de millions de fichiers.
Ce que cela apporte concrètement
Une écriture dans une branche ne touche pas aux métadonnées de la branche principale, ce qui évite les conflits de commits et l'invalidation des caches. Les données d'une branche se trouvent physiquement dans un répertoire distinct, et au niveau du stockage on peut accorder le droit « lire la production, écrire uniquement dans la branche ». L'audit montre quelle activité relève de la branche, et les coûts de stockage sont calculés par branche. En outre, chaque branche possède son historique complet de versions, et le time travel y fonctionne, ce qui n'est pas le cas dans Iceberg. Il est aussi possible de créer des branches imbriquées, par exemple deux variantes d'un test A/B à partir d'une branche d'expérimentation commune.
En Python, la démarche est familière : écrire le dataset, poser un tag sur une version (« baseline », « training-v1 »), ouvrir le dataset sur la version taguée, créer une branche avec create_branch, puis y ajouter les données expérimentales. Le dataset principal reste inchangé.
Limites
Il s'agit de la description de la conception par l'auteur du projet, et non d'un benchmark indépendant. L'article ne fournit aucun chiffre de performance ni d'économies, et la pratique devra montrer comment ce schéma se comporte sous forte charge. Le gain profitera surtout aux équipes qui stockent déjà leurs données d'entraînement dans Lance. Si vous utilisez Iceberg ou Delta, il est plus utile de retenir le principe lui-même : pour les expériences, il faut un dossier physique distinct avec des droits séparés, et pas seulement une étiquette logique dans une table commune.
- 21 nov. 2026LanceDB lance Realtime Engine : les données fraîches deviennent interrogeables en 52 ms
- 26 mai 2026Lance, le réseau de neurones de ByteDance pour la vidéo : comment fonctionne ce modèle d'IA universel
- 21 nov. 2026Uber et LanceDB ont appris au format Lance à répartir un jeu de données entre plusieurs buckets : 5 chemins au lieu de 10 millions
- 31 oct. 2026SciGame teste cinq agents LLM : les formules familières les empêchent de retrouver des lois modifiées
Questions clés sur cet article
Pourquoi les branches d'Iceberg et les clones de Delta ne convenaient pas?
Dans Iceberg, où l'auteur avait imaginé les branches et les tags dès 2021, tout fonctionne presque comme dans Git : le fichier de métadonnées de la table contient une liste de références nommées vers des snapshots. Les tags protègent les versions utiles du nettoyage, et les branches permettent d'accumuler des modifications et de les vérifier avant publication. Pour l'audit et le schéma « écrire, vérifier, publier », cela fonctionne bien. Pour les expériences ML, c'était moins adapté, et ce pour trois raisons.
Que sait-on sur Le fonctionnement dans Lance ?
Sa position a changé lorsque ByteDance et Netflix ont demandé, indépendamment l'un de l'autre, des branches dans Lance pour leurs expériences d'IA. Leurs arguments sont les suivants. Une branche reste toujours liée à la table parente, si bien que l'origine d'une expérience est visible sans système de lineage séparé.
Que sait-on sur Ce que cela apporte concrètement ?
Une écriture dans une branche ne touche pas aux métadonnées de la branche principale, ce qui évite les conflits de commits et l'invalidation des caches. Les données d'une branche se trouvent physiquement dans un répertoire distinct, et au niveau du stockage on peut accorder le droit « lire la production, écrire uniquement dans la branche ». L'audit montre quelle activité relève de la branche, et les coûts de stockage sont calculés par branche.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.