Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarLanceDB Blog→ original

Uber et LanceDB ont appris au format Lance à répartir un jeu de données entre plusieurs buckets : 5 chemins au lieu de 10 millions

Quand des milliers de lecteurs demandent en même temps des données pour entraîner un modèle, un seul bucket S3 (espace de stockage dans le cloud) devient un goulot d'étranglement. Uber a demandé à LanceDB de répartir le jeu de données sur plusieurs buckets sans perdre en portabilité. Le manifeste Lance contient désormais une courte liste de « bases » : des préfixes de chemins communs, chaque fichier ne stockant plus que le numéro de sa base et un chemin relatif. Un jeu de données de 10 millions de fichiers répartis sur 5 buckets se migre donc en remplaçant 5 lignes, et non 10 millions.

Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Uber et LanceDB ont appris au format Lance à répartir un jeu de données entre plusieurs buckets : 5 chemins au lieu de 10 millions
Source : LanceDB Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireLanceDB Blog ↗
Rédacteur en chef
Chiffre clé #1L'écriture se fait en rotation entre les buckets, la lecture se fait en parallèle sur tous
Chiffre clé #2Le ramasse-miettes et l'attribution des accès parcourent les bases, et non les fichiers
Chiffre clé #3Une base peut être désignée comme racine du jeu de données (pour les clones) ou comme dossier contenant des fichiers

Imaginez que vous deviez migrer d'un service de stockage cloud à un autre, alors que les métadonnées de la table listent les adresses complètes de dix millions de fichiers. Chaque adresse devrait être réécrite. C'est précisément ce problème que LanceDB et l'infrastructure d'IA d'Uber ont cherché à résoudre. L'objectif : répartir un même jeu de données sur plusieurs buckets S3 (un bucket est le conteneur racine d'un stockage dans le cloud) afin d'accélérer la lecture lors de l'entraînement des modèles, tout en conservant la possibilité de transférer le jeu de données à coût quasi nul.

Le problème : un seul bucket ne tient pas face à des milliers de lecteurs

Chez Uber, les données multimodales destinées à l'entraînement des modèles et à la recherche agentique résident dans des jeux de données de l'ordre du pétaoctet. Des milliers de lecteurs y accèdent simultanément, et un seul bucket devient vite un goulot d'étranglement. Les ingénieurs ont donc voulu répartir un même jeu de données sur N buckets. Les nouveaux fichiers sont écrits en rotation dans les différents buckets, et la lecture s'effectue en parallèle sur l'ensemble. L'objectif est de multiplier le débit total par environ N.

La difficulté réside dans les chemins. Si tous les chemins sont relatifs, il est impossible de référencer un fichier situé en dehors du dossier du jeu de données. Si les chemins sont absolus, chaque migration oblige à réécrire intégralement les métadonnées. Uber avait besoin des deux : plusieurs emplacements de stockage et une portabilité maximale.

Les leçons d'Iceberg et de Delta : les formats hybrides sont peu pratiques

L'auteur du billet a travaillé sur Apache Iceberg, Delta Lake, et travaille aujourd'hui sur Lance. Il rappelle que ces deux formats ont suivi des trajectoires opposées.

Iceberg a débuté avec des chemins absolus. Ils sont sans ambiguïté, mais la migration impose de réécrire des métadonnées contenant des milliers, voire des millions de chemins. La discussion sur les chemins relatifs a commencé en 2021, et fin 2025 la communauté s'est accordée sur une conception pour la version 4 : les chemins sans schéma URI sont considérés comme relatifs à l'emplacement de la table.

Delta Lake, à l'inverse, a commencé en septembre 2019 avec des chemins relatifs, puis a autorisé les chemins absolus en août 2021. Ce choix répond au besoin de shallow clone (apparu en décembre 2022) : une nouvelle table référence les fichiers de l'ancienne sans les copier, et ces fichiers se trouvent hors de la racine de la nouvelle table.

Au final, les deux formats sont devenus hybrides, et l'auteur en identifie trois inconvénients :

  • la souplesse des chemins absolus est peu utilisée, car les fichiers se trouvent généralement sous la racine de la table ;
  • le ramasse-miettes se complique, car on ne peut pas supprimer sans risque un répertoire si ses fichiers sont référencés depuis un autre emplacement ;
  • l'attribution d'identifiants temporaires est difficile, car il faut retrouver tous les préfixes parmi des centaines de millions d'entrées dans les manifestes.

La promesse « zéro réécriture » ne tient que pour les nouvelles tables situées à un seul endroit, avec des chemins exclusivement relatifs. Les clones, l'import de fichiers, le stockage multi-niveaux et la répartition sur plusieurs buckets la remettent en cause.

Comment fonctionne le multi-base dans Lance

Dans Lance, tous les chemins sont relatifs, et la structure des répertoires est définie par la spécification : fichiers de données .lance, manifestes .manifest, transactions *.txn, vecteurs de suppression et index. Copiez un jeu de données depuis un disque local vers s3://bucket/dataset, et il fonctionne immédiatement sans modifier les métadonnées.

La nouvelle approche repose sur une observation : même si une table référence des millions de fichiers, elle ne contient que peu de préfixes communs distincts. Ces préfixes, appelés « bases », sont regroupés dans un tableau séparé du manifeste. Désormais, un fichier stocke une référence vers une base et un chemin relatif. Il en découle plusieurs avantages concrets :

  • une structure explicite : inutile de parcourir des millions de chemins pour savoir où se trouvent les données ;
  • un transfert peu coûteux : un jeu de données de 10 millions de fichiers répartis sur 5 buckets nécessite le remplacement de 5 lignes, et non de 10 millions ;
  • une migration souple : on peut ne transférer que certaines bases et laisser les autres en place ;
  • une maintenance simplifiée : le ramasse-miettes et l'attribution des identifiants parcourent la liste des bases, et non celle des fichiers.

Dans la spécification, chaque base porte un indicateur qui détermine la manière de résoudre son chemin. Si la base est la racine du jeu de données, les sous-répertoires standard s'y appliquent, ce qui permet de référencer des jeux de données entiers, par exemple pour un shallow clone. Sinon, la base désigne directement un dossier contenant des fichiers sans sous-répertoires, ce qui convient à la répartition sur plusieurs buckets, comme chez Uber.

Ce qu'il faut retenir

Ce témoignage émane du développeur de Lance et présente sa propre solution ; il ne s'agit pas d'une comparaison indépendante des formats. Le billet ne fournit pas, dans sa partie disponible, de mesures réelles du gain de débit chez Uber, seulement l'objectif « environ N fois ». La publication est tronquée dans la source, donc les détails d'écriture et le lien entre multi-base et clones ne sont pas traités ici.

Conclusion pratique pour ceux qui conçoivent des jeux de données destinés à l'entraînement et à la recherche agentique : si les données doivent être réparties entre buckets et régions, privilégiez un format qui stocke explicitement ses préfixes. La migration et le nettoyage des données reposeront alors sur une courte table de bases, et non sur des millions de lignes.

Dossier

Questions clés sur cet article

Que sait-on sur Le problème : un seul bucket ne tient pas face à des milliers de lecteurs ?

Chez Uber, les données multimodales destinées à l'entraînement des modèles et à la recherche agentique résident dans des jeux de données de l'ordre du pétaoctet. Des milliers de lecteurs y accèdent simultanément, et un seul bucket devient vite un goulot d'étranglement. Les ingénieurs ont donc voulu répartir un même jeu de données sur N buckets. Les nouveaux fichiers sont écrits en rotation dans les différents buckets, et la lecture s'effectue en parallèle sur l'ensemble.

Que sait-on sur Les leçons d'Iceberg et de Delta : les formats hybrides sont peu pratiques ?

L'auteur du billet a travaillé sur Apache Iceberg, Delta Lake, et travaille aujourd'hui sur Lance. Il rappelle que ces deux formats ont suivi des trajectoires opposées. Iceberg a débuté avec des chemins absolus. Ils sont sans ambiguïté, mais la migration impose de réécrire des métadonnées contenant des milliers, voire des millions de chemins.

Comment fonctionne le multi-base dans Lance?

Dans Lance, tous les chemins sont relatifs, et la structure des répertoires est définie par la spécification : fichiers de données .lance, manifestes .manifest, transactions .txn, vecteurs de suppression et index. Copiez un jeu de données depuis un disque local vers s3://bucket/dataset, et il fonctionne immédiatement sans modifier les métadonnées. La nouvelle approche repose sur une observation : même si une table référence des millions de fichiers, elle ne contient que peu de préfixes communs distincts.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…