Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarLanceDB Blog→ original

Uber y LanceDB enseñan al formato Lance a repartir un dataset entre buckets: 5 rutas en lugar de 10 millones

Cuando miles de lectores tiran a la vez de los datos para entrenar un modelo, un único bucket de S3 (almacenamiento en la nube) se convierte en el cuello de botella. Uber pidió a LanceDB que repartiera el dataset entre varios buckets sin perder portabilidad. El manifiesto de Lance contiene ahora una lista corta de «bases», es decir, prefijos de ruta compartidos, y cada archivo guarda solo el número de la base y una ruta relativa. Por eso, un dataset de 10 millones de archivos repartido en 5 buckets se traslada reemplazando 5 líneas, no 10 millones.

Procesado por IA desde LanceDB Blog; editado por Hamidun News
Uber y LanceDB enseñan al formato Lance a repartir un dataset entre buckets: 5 rutas en lugar de 10 millones
Fuente: LanceDB Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalLanceDB Blog ↗
Editor jefe
Dato clave #1La escritura rota entre los buckets por turnos, y la lectura se hace en paralelo desde todos ellos
Dato clave #2La recolección de basura y la emisión de accesos recorren las bases, no los archivos
Dato clave #3Una base puede marcarse como raíz del dataset (para clones) o como carpeta con archivos

Imagine que tiene que cambiarse de un almacenamiento en la nube a otro, pero en los metadatos de la tabla están escritas las direcciones completas de diez millones de archivos. Habría que reescribir cada una. Ese es exactamente el problema que resolvieron en LanceDB junto con la infraestructura de IA de Uber. El objetivo era repartir un único dataset entre varios buckets de S3 (un bucket es el «contenedor» raíz en el almacenamiento en la nube) para que los datos se leyeran más rápido durante el entrenamiento de modelos, sin perder la capacidad de mover el dataset casi sin coste.

Problema: un solo bucket no aguanta a miles de lectores

Uber guarda datos multimodales para entrenar modelos y para la búsqueda agéntica en datasets de escala petabyte. Miles de lectores acceden a ellos a la vez, y un único bucket se convierte enseguida en un cuello de botella. Por eso los ingenieros querían repartir un dataset en N buckets. Los archivos nuevos se escriben por turnos en distintos buckets, y la lectura se hace en paralelo desde todos ellos. La meta es multiplicar el throughput total aproximadamente por N.

La dificultad está en las rutas. Si todas son relativas, no es posible referenciar un archivo fuera de la carpeta del dataset. Si son absolutas, cualquier migración obliga a reescribir los metadatos por completo. Uber necesitaba ambas cosas a la vez: varios lugares de almacenamiento y la máxima portabilidad.

La lección de Iceberg y Delta: los híbridos resultan incómodos

El autor del post trabajó en Apache Iceberg, en Delta Lake y ahora en Lance. Recuerda que ambos formatos recorrieron caminos opuestos.

Iceberg empezó con rutas absolutas. Son inequívocas, pero al migrar hay que reescribir metadatos con miles o millones de rutas. El debate sobre las rutas relativas comenzó en 2021, y a finales de 2025 la comunidad llegó a un diseño para la versión 4: las rutas sin esquema URI se consideran relativas a la ubicación de la tabla.

Delta Lake, en cambio, empezó en septiembre de 2019 con rutas relativas y en agosto de 2021 permitió las absolutas. Esto es necesario para el shallow clone (apareció en diciembre de 2022): la nueva tabla referencia los archivos de la antigua sin copiarlos, y esos archivos están fuera de la raíz de la nueva tabla.

Al final, ambos formatos se convirtieron en híbridos, y el autor ve tres inconvenientes:

  • la flexibilidad de las rutas absolutas casi no se aprovecha, porque los archivos suelen estar bajo la raíz de la tabla;
  • la recolección de basura se complica, porque no es seguro eliminar un directorio si otro lugar referencia sus archivos;
  • es difícil emitir credenciales temporales, ya que hay que localizar todos los prefijos entre cientos de millones de entradas en los manifiestos.

La promesa de «cero reescrituras» solo funciona para tablas nuevas, en un único lugar y con rutas puramente relativas. Los clones, las importaciones de archivos, el almacenamiento por niveles y el reparto entre buckets la rompen.

Cómo funciona el multi-base en Lance

En Lance, todas las rutas son relativas, y la estructura de directorios la define la especificación: archivos de datos .lance, manifiestos .manifest, transacciones *.txn, vectores de borrado e índices. Si copia el dataset desde un disco local a s3://bucket/dataset, funciona de inmediato sin editar los metadatos.

La nueva idea parte de una observación: aunque una tabla referencie millones de archivos, tiene pocos prefijos comunes distintos. Se les llamó «bases» y se sacaron a un array aparte en el manifiesto. Ahora cada archivo guarda una referencia a una base más una ruta relativa. De ahí se derivan estas ventajas prácticas:

  • estructura explícita: no hace falta escanear millones de rutas para saber dónde están los datos;
  • traslado barato: un dataset de 10 millones de archivos repartido en 5 buckets requiere reemplazar 5 líneas, no 10 millones;
  • migración flexible: se pueden mover solo las bases elegidas y dejar el resto en su sitio;
  • mantenimiento sencillo: la recolección de basura y la emisión de credenciales recorren la lista de bases, no la lista de archivos.

En la especificación, cada base tiene un indicador que determina cómo se resuelve la ruta. Si la base es la raíz del dataset, dentro de ella rigen los subdirectorios estándar, y así se puede referenciar datasets completos, por ejemplo para el shallow clone. Si no lo es, la base apunta directamente a una carpeta con archivos sin subdirectorios, algo que encaja con el reparto entre buckets que hace Uber.

Lo que conviene tener en cuenta

Se trata del relato del desarrollador de Lance sobre su propia solución, no de una comparación independiente de formatos. En la parte disponible del post no hay mediciones reales de la mejora de throughput de Uber, solo el objetivo de «aproximadamente N veces». La publicación original aparece cortada al final, así que los detalles sobre la escritura y la relación del multi-base con los clones no se analizan aquí.

La conclusión práctica para quien construye datasets de entrenamiento y de búsqueda agéntica: si los datos tendrán que repartirse entre buckets y regiones, conviene elegir un formato que guarde los prefijos de forma explícita. Así, el traslado y la limpieza de archivos trabajan con una tabla corta de bases en lugar de con millones de filas.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Problema: un solo bucket no aguanta a miles de lectores?

Uber guarda datos multimodales para entrenar modelos y para la búsqueda agéntica en datasets de escala petabyte. Miles de lectores acceden a ellos a la vez, y un único bucket se convierte enseguida en un cuello de botella. Por eso los ingenieros querían repartir un dataset en N buckets. Los archivos nuevos se escriben por turnos en distintos buckets, y la lectura se hace en paralelo desde todos ellos. La meta es multiplicar el throughput total aproximadamente por N. La dificultad está en las rutas.

¿Qué se sabe sobre La lección de Iceberg y Delta: los híbridos resultan incómodos?

El autor del post trabajó en Apache Iceberg, en Delta Lake y ahora en Lance. Recuerda que ambos formatos recorrieron caminos opuestos. Iceberg empezó con rutas absolutas. Son inequívocas, pero al migrar hay que reescribir metadatos con miles o millones de rutas. El debate sobre las rutas relativas comenzó en 2021, y a finales de 2025 la comunidad llegó a un diseño para la versión 4: las rutas sin esquema URI se consideran relativas a la ubicación de la tabla.

Cómo funciona el multi-base en Lance?

En Lance, todas las rutas son relativas, y la estructura de directorios la define la especificación: archivos de datos .lance, manifiestos .manifest, transacciones .txn, vectores de borrado e índices. Si copia el dataset desde un disco local a s3://bucket/dataset, funciona de inmediato sin editar los metadatos. La nueva idea parte de una observación: aunque una tabla referencie millones de archivos, tiene pocos prefijos comunes distintos. Se les llamó «bases» y se sacaron a un array aparte en el manifiesto.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…