Uber et LanceDB ont appris au format Lance à répartir un jeu de données entre plusieurs buckets : 5 chemins au lieu de 10 millions
Quand des milliers de lecteurs demandent en même temps des données pour entraîner un modèle, un seul bucket S3 (espace de stockage dans le cloud) devient un goulot d'étranglement. Uber a demandé à LanceDB de répartir le jeu de données sur plusieurs buckets sans perdre en portabilité. Le manifeste Lance contient désormais une courte liste de « bases » : des préfixes de chemins communs, chaque fichier ne stockant plus que le numéro de sa base et un chemin relatif. Un jeu de données de 10 millions de fichiers répartis sur 5 buckets se migre donc en remplaçant 5 lignes, et non 10 millions.
Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Imaginez que vous deviez migrer d'un service de stockage cloud à un autre, alors que les métadonnées de la table listent les adresses complètes de dix millions de fichiers. Chaque adresse devrait être réécrite. C'est précisément ce problème que LanceDB et l'infrastructure d'IA d'Uber ont cherché à résoudre. L'objectif : répartir un même jeu de données sur plusieurs buckets S3 (un bucket est le conteneur racine d'un stockage dans le cloud) afin d'accélérer la lecture lors de l'entraînement des modèles, tout en conservant la possibilité de transférer le jeu de données à coût quasi nul.
Le problème : un seul bucket ne tient pas face à des milliers de lecteurs
Chez Uber, les données multimodales destinées à l'entraînement des modèles et à la recherche agentique résident dans des jeux de données de l'ordre du pétaoctet. Des milliers de lecteurs y accèdent simultanément, et un seul bucket devient vite un goulot d'étranglement. Les ingénieurs ont donc voulu répartir un même jeu de données sur N buckets. Les nouveaux fichiers sont écrits en rotation dans les différents buckets, et la lecture s'effectue en parallèle sur l'ensemble. L'objectif est de multiplier le débit total par environ N.
La difficulté réside dans les chemins. Si tous les chemins sont relatifs, il est impossible de référencer un fichier situé en dehors du dossier du jeu de données. Si les chemins sont absolus, chaque migration oblige à réécrire intégralement les métadonnées. Uber avait besoin des deux : plusieurs emplacements de stockage et une portabilité maximale.
Les leçons d'Iceberg et de Delta : les formats hybrides sont peu pratiques
L'auteur du billet a travaillé sur Apache Iceberg, Delta Lake, et travaille aujourd'hui sur Lance. Il rappelle que ces deux formats ont suivi des trajectoires opposées.
Iceberg a débuté avec des chemins absolus. Ils sont sans ambiguïté, mais la migration impose de réécrire des métadonnées contenant des milliers, voire des millions de chemins. La discussion sur les chemins relatifs a commencé en 2021, et fin 2025 la communauté s'est accordée sur une conception pour la version 4 : les chemins sans schéma URI sont considérés comme relatifs à l'emplacement de la table.
Delta Lake, à l'inverse, a commencé en septembre 2019 avec des chemins relatifs, puis a autorisé les chemins absolus en août 2021. Ce choix répond au besoin de shallow clone (apparu en décembre 2022) : une nouvelle table référence les fichiers de l'ancienne sans les copier, et ces fichiers se trouvent hors de la racine de la nouvelle table.
Au final, les deux formats sont devenus hybrides, et l'auteur en identifie trois inconvénients :
- la souplesse des chemins absolus est peu utilisée, car les fichiers se trouvent généralement sous la racine de la table ;
- le ramasse-miettes se complique, car on ne peut pas supprimer sans risque un répertoire si ses fichiers sont référencés depuis un autre emplacement ;
- l'attribution d'identifiants temporaires est difficile, car il faut retrouver tous les préfixes parmi des centaines de millions d'entrées dans les manifestes.
La promesse « zéro réécriture » ne tient que pour les nouvelles tables situées à un seul endroit, avec des chemins exclusivement relatifs. Les clones, l'import de fichiers, le stockage multi-niveaux et la répartition sur plusieurs buckets la remettent en cause.
Comment fonctionne le multi-base dans Lance
Dans Lance, tous les chemins sont relatifs, et la structure des répertoires est définie par la spécification : fichiers de données .lance, manifestes .manifest, transactions *.txn, vecteurs de suppression et index. Copiez un jeu de données depuis un disque local vers s3://bucket/dataset, et il fonctionne immédiatement sans modifier les métadonnées.
La nouvelle approche repose sur une observation : même si une table référence des millions de fichiers, elle ne contient que peu de préfixes communs distincts. Ces préfixes, appelés « bases », sont regroupés dans un tableau séparé du manifeste. Désormais, un fichier stocke une référence vers une base et un chemin relatif. Il en découle plusieurs avantages concrets :
- une structure explicite : inutile de parcourir des millions de chemins pour savoir où se trouvent les données ;
- un transfert peu coûteux : un jeu de données de 10 millions de fichiers répartis sur 5 buckets nécessite le remplacement de 5 lignes, et non de 10 millions ;
- une migration souple : on peut ne transférer que certaines bases et laisser les autres en place ;
- une maintenance simplifiée : le ramasse-miettes et l'attribution des identifiants parcourent la liste des bases, et non celle des fichiers.
Dans la spécification, chaque base porte un indicateur qui détermine la manière de résoudre son chemin. Si la base est la racine du jeu de données, les sous-répertoires standard s'y appliquent, ce qui permet de référencer des jeux de données entiers, par exemple pour un shallow clone. Sinon, la base désigne directement un dossier contenant des fichiers sans sous-répertoires, ce qui convient à la répartition sur plusieurs buckets, comme chez Uber.
Ce qu'il faut retenir
Ce témoignage émane du développeur de Lance et présente sa propre solution ; il ne s'agit pas d'une comparaison indépendante des formats. Le billet ne fournit pas, dans sa partie disponible, de mesures réelles du gain de débit chez Uber, seulement l'objectif « environ N fois ». La publication est tronquée dans la source, donc les détails d'écriture et le lien entre multi-base et clones ne sont pas traités ici.
Conclusion pratique pour ceux qui conçoivent des jeux de données destinés à l'entraînement et à la recherche agentique : si les données doivent être réparties entre buckets et régions, privilégiez un format qui stocke explicitement ses préfixes. La migration et le nettoyage des données reposeront alors sur une courte table de bases, et non sur des millions de lignes.
- 21 nov. 2026Lance ajoute des branches aux datasets, comme dans Git : les expériences ne perturbent pas la production
- 21 nov. 2026LanceDB lance Realtime Engine : les données fraîches deviennent interrogeables en 52 ms
- 21 nov. 2026LanceDB lève 57,5 M$ pour sa base de données d'entraînement de modèles sur vidéos et images
- 21 nov. 2026Netflix réunit vidéo et audio dans une seule table LanceDB : 5 millions d'opérations disque par seconde
Questions clés sur cet article
Que sait-on sur Le problème : un seul bucket ne tient pas face à des milliers de lecteurs ?
Chez Uber, les données multimodales destinées à l'entraînement des modèles et à la recherche agentique résident dans des jeux de données de l'ordre du pétaoctet. Des milliers de lecteurs y accèdent simultanément, et un seul bucket devient vite un goulot d'étranglement. Les ingénieurs ont donc voulu répartir un même jeu de données sur N buckets. Les nouveaux fichiers sont écrits en rotation dans les différents buckets, et la lecture s'effectue en parallèle sur l'ensemble.
Que sait-on sur Les leçons d'Iceberg et de Delta : les formats hybrides sont peu pratiques ?
L'auteur du billet a travaillé sur Apache Iceberg, Delta Lake, et travaille aujourd'hui sur Lance. Il rappelle que ces deux formats ont suivi des trajectoires opposées. Iceberg a débuté avec des chemins absolus. Ils sont sans ambiguïté, mais la migration impose de réécrire des métadonnées contenant des milliers, voire des millions de chemins.
Comment fonctionne le multi-base dans Lance?
Dans Lance, tous les chemins sont relatifs, et la structure des répertoires est définie par la spécification : fichiers de données .lance, manifestes .manifest, transactions .txn, vecteurs de suppression et index. Copiez un jeu de données depuis un disque local vers s3://bucket/dataset, et il fonctionne immédiatement sans modifier les métadonnées. La nouvelle approche repose sur une observation : même si une table référence des millions de fichiers, elle ne contient que peu de préfixes communs distincts.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.