Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarLanceDB Blog→ original

Lance añade ramas a los datasets, como en Git: los experimentos no interfieren con producción

Experimentar sobre un dataset de producción da miedo: se puede estropear algo o ralentizar las consultas de trabajo. En Lance, cada rama tiene su propia carpeta: los archivos nuevos se escriben allí, mientras que los datos antiguos se leen del dataset principal mediante un enlace, sin copiarlos. Escribir en una rama no entra en conflicto con producción, y los permisos pueden separarse: el dataset principal queda solo en lectura. Para los equipos de ML, esto permite experimentar con datos reales sin crear copias adicionales.

Procesado por IA desde LanceDB Blog; editado por Hamidun News
Lance añade ramas a los datasets, como en Git: los experimentos no interfieren con producción
Fuente: LanceDB Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalLanceDB Blog ↗
Editor jefe
Dato clave #1Las etiquetas son marcas de versión inmutables: ni la reversión ni la recolección de basura las eliminan.
Dato clave #2Cada rama conserva su propio historial de versiones, así que dentro de ella funciona el time travel.
Dato clave #3ByteDance y Netflix pidieron esta función para sus experimentos de IA.

Cualquiera que haya preparado datos para entrenar un modelo conoce este dilema. El dataset está vivo, producción funciona sobre él, y a la vez necesitas probar un nuevo etiquetado, otro conjunto de características o una augmentación. Copiar terabytes resulta incómodo y caro. Experimentar directamente sobre la tabla en uso es arriesgado. El autor de Lance y uno de los creadores de la ramificación en Apache Iceberg propuso en el blog de LanceDB una forma de eliminar este dilema: ramas, etiquetas y «clonado ligero» en un solo modelo.

Por qué no convencieron las ramas de Iceberg ni los clones de Delta

En Iceberg, donde el autor ya ideó las ramas y etiquetas en 2021, todo funciona casi igual que en Git: el archivo de metadatos de la tabla contiene una lista de referencias con nombre a instantáneas. Las etiquetas protegen las versiones necesarias de la limpieza, y las ramas permiten acumular cambios y revisarlos antes de publicarlos. Para auditoría y para el flujo «escribir, verificar, publicar» esto funciona bien. Para los experimentos de ML, en cambio, resultó peor, y hay tres motivos.

El primero es el rendimiento. Cualquier operación sobre cualquier rama actualiza el archivo común de metadatos, así que las escrituras frecuentes en una rama experimental entran en conflicto con los commits de producción e invalidan las cachés de lectura. El segundo es el aislamiento deficiente: los archivos de las ramas están en la misma carpeta y con los mismos permisos de acceso, por lo que no se puede permitir producción solo en lectura y la rama solo en escritura. El tercero es la contabilidad: en la auditoría no se distinguen las consultas a la rama de las de producción, y el espacio para experimentos se carga al presupuesto de la tabla principal.

En Delta Lake, desde finales de 2022, existe el shallow clone: se crea una tabla independiente que referencia los archivos de la original mediante rutas absolutas. Tiene sus propios permisos, cuotas y auditoría, y los datos nuevos se escriben en su carpeta. El autor reconoce que durante varios años consideró este el mejor modelo.

Cómo funciona en Lance

La perspectiva cambió cuando ByteDance y Netflix pidieron de forma independiente ramas en Lance para sus experimentos de IA. Sus argumentos son estos. Una rama siempre está vinculada a la tabla padre, así que el origen del experimento es visible sin necesidad de un sistema de lineage aparte. Todos los datos permanecen dentro de un mismo dataset, y la limpieza se rige por las reglas de vida útil de ramas y etiquetas, de modo que un clon no se puede olvidar por accidente, algo importante, por ejemplo, para el RGPD. Y, por último, «creé una rama, experimenté, fusioné o descarté» resulta comprensible para cualquier desarrollador.

La base es el multi-base: un esquema en el que el manifiesto del dataset enumera varias rutas base y cada archivo indica de cuál debe leerse. De ahí salen tres elementos:

  • Shallow clone. Un nuevo dataset independiente con ubicación propia e historial de versiones. Los fragmentos heredados se leen de la fuente a través de una única ruta base, y no mediante una ruta absoluta para cada archivo, como en Delta. Los datos no se copian; solo se crean metadatos.
  • Etiquetas. Punteros con nombre e inmutables a versiones, guardados en archivos separados. En Iceberg, las etiquetas se almacenan en los metadatos de la tabla y se ven afectadas por la reversión. En Lance, la reversión de versiones no las toca, y el recolector de basura no elimina las versiones etiquetadas.
  • Ramas. Son, en realidad, un clon ligero dentro de la carpeta del dataset original más un registro de desde dónde se ramificó.

Una diferencia importante respecto a Git e Iceberg: Lance no sigue la rama por su último commit, sino por el lugar donde se creó. Los metadatos de la rama guardan solo la rama padre y la versión desde la que arrancó. Todos los commits posteriores se escriben en la carpeta propia de la rama, con sus manifiestos y archivos. El autor considera que este enfoque es el mejor para tablas de petabytes y millones de archivos.

Qué aporta en la práctica

Escribir en una rama no toca los metadatos de la rama principal, de modo que no hay conflictos de commits ni invalidación de cachés. Los datos de la rama se almacenan físicamente en un directorio aparte, y a nivel de almacenamiento se pueden conceder permisos del tipo «leer producción, escribir solo en la rama». En la auditoría se ve qué actividad corresponde a la rama, y los costes de almacenamiento se calculan por rama. Además, cada rama tiene su propio historial completo de versiones, y el time travel funciona dentro de ella, algo que no existe en Iceberg. Es posible crear ramas anidadas; por ejemplo, dos variantes de una prueba A/B a partir de una rama experimental común.

En Python resulta familiar: se escribe el dataset, se pone una etiqueta a una versión («baseline», «training-v1»), se abre el dataset en la versión etiquetada, se crea una rama con create_branch y se añaden allí los datos experimentales. El dataset principal permanece igual.

Limitaciones

Esto es una descripción del diseño hecha por el autor del proyecto, no un benchmark independiente. El material no incluye cifras de velocidad ni de ahorro, y la práctica mostrará cómo se comporta el esquema con cargas grandes. Se beneficiarán sobre todo los equipos que ya almacenan datos de entrenamiento en Lance. Si trabajas con Iceberg o Delta, resulta más útil fijarse en el principio: para los experimentos hace falta una carpeta física aparte con permisos propios, y no solo una etiqueta lógica dentro de la tabla común.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué no convencieron las ramas de Iceberg ni los clones de Delta?

En Iceberg, donde el autor ya ideó las ramas y etiquetas en 2021, todo funciona casi igual que en Git: el archivo de metadatos de la tabla contiene una lista de referencias con nombre a instantáneas. Las etiquetas protegen las versiones necesarias de la limpieza, y las ramas permiten acumular cambios y revisarlos antes de publicarlos. Para auditoría y para el flujo «escribir, verificar, publicar» esto funciona bien. Para los experimentos de ML, en cambio, resultó peor, y hay tres motivos.

Cómo funciona en Lance?

La perspectiva cambió cuando ByteDance y Netflix pidieron de forma independiente ramas en Lance para sus experimentos de IA. Sus argumentos son estos. Una rama siempre está vinculada a la tabla padre, así que el origen del experimento es visible sin necesidad de un sistema de lineage aparte. Todos los datos permanecen dentro de un mismo dataset, y la limpieza se rige por las reglas de vida útil de ramas y etiquetas, de modo que un clon no se puede olvidar por accidente, algo importante, por ejemplo, para el RGPD.

¿Qué se sabe sobre Qué aporta en la práctica?

Escribir en una rama no toca los metadatos de la rama principal, de modo que no hay conflictos de commits ni invalidación de cachés. Los datos de la rama se almacenan físicamente en un directorio aparte, y a nivel de almacenamiento se pueden conceder permisos del tipo «leer producción, escribir solo en la rama». En la auditoría se ve qué actividad corresponde a la rama, y los costes de almacenamiento se calculan por rama.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…