Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarLanceDB Blog→ original

LanceDB lanza Realtime Engine: los datos recientes se pueden buscar en 52 ms

En los lagos de datos habituales, la escritura espera a un commit por lotes, así que un fotograma guardado hace un segundo no se puede encontrar en una búsqueda. LanceDB ha añadido a su versión Enterprise el Realtime Engine: la fila se confirma tras guardarse en el almacenamiento S3 y se puede leer en 52 ms de media. La búsqueda sobre filas recientes tarda entre 15 y 28 ms para texto y entre 26 y 30 ms para vectores. En conjuntos de datos vivos de robótica y RL, se puede prescindir de un servicio de búsqueda independiente.

Procesado por IA desde LanceDB Blog; editado por Hamidun News
LanceDB lanza Realtime Engine: los datos recientes se pueden buscar en 52 ms
Fuente: LanceDB Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalLanceDB Blog ↗
Editor jefe
Dato clave #1La escritura pasa de 79–83 MB/s en un shard a 312–334 MB/s en cuatro.
Dato clave #2El formato MemWAL, basado en un árbol LSM, es abierto y forma parte de la especificación de Lance.
Dato clave #3En LAION, todos los índices dan 289 MB/s frente a 314 MB/s con un solo índice.

Imagine a un ingeniero que analiza un agarre fallido de un brazo robótico. El fotograma se guardó hace un segundo, pero todavía no está en la tabla: el sistema espera a que se acumule un lote de datos y a que se complete el commit, es decir, la publicación de una nueva versión de la tabla. Le ocurre lo mismo a un investigador que entrena un modelo con aprendizaje por refuerzo (RL) y quiere revisar una ejecución que acaba de terminar.

La empresa LanceDB ha lanzado para su versión de pago, LanceDB Enterprise, el motor Realtime Engine, que elimina esa espera. Según sus mediciones, el tiempo medio desde que el registro se guarda de forma fiable en el almacenamiento en la nube S3 hasta que la fila puede leerse es de 52 milisegundos.

El problema de los lagos de datos por lotes

Los sistemas lakehouse actuales (lagos de datos en los que las tablas se guardan como archivos en almacenamiento de objetos como S3) se construyeron en torno a grandes commits por lotes. Los datos se acumulan, se escriben en archivos columnares y después se publica una nueva versión de la tabla. Almacenar y escanear volúmenes tan grandes es barato, pero con los flujos surge una disyuntiva incómoda. Si se hacen commits con frecuencia, se acumulan archivos pequeños y actualizaciones de metadatos. Si se espera a un lote grande, los lectores esperan junto a los escritores.

En las tareas de IA esto se nota especialmente. Las flotas de robots generan continuamente imágenes y lecturas de sensores, y los pipelines de etiquetado añaden etiquetas y embeddings. Una etiqueta corregida debe influir de inmediato en el siguiente filtro, y un embedding recalculado debe entrar en la siguiente búsqueda vectorial. En el entrenamiento con RL, los trabajadores escriben trayectorias, los evaluadores añaden recompensas y el proceso de entrenamiento toma los ejemplos listos. Todo ocurre en paralelo y sin pausas.

La solución habitual es poner un búfer de escritura o un servicio de búsqueda independiente delante del lago. LanceDB señala los inconvenientes de este enfoque: la ingesta suele limitarse a añadir filas, el soporte de índices vectoriales y de texto completo es escaso y los datos quedan atados a un proveedor. Mientras los datos estén en un búfer cerrado, otros motores no pueden leerlos a través del formato de tabla abierto. Además, la fiabilidad depende a menudo de la replicación dentro del propio búfer y no del almacenamiento de objetos.

Cómo funciona Realtime Engine

El núcleo es el formato MemWAL, parte del formato de tablas Lance. Añade a Lance un árbol LSM (una estructura que primero acepta registros rápidamente en memoria y en un log y después los fusiona en el almacenamiento principal) sobre el almacenamiento de objetos. Cada nuevo registro llega a un nodo del motor. El nodo lo guarda en un write-ahead log en el almacenamiento de objetos y lo añade a un búfer indexado en memoria, la MemTable. La respuesta de éxito llega solo después de que los datos estén guardados de forma fiable, de modo que si el nodo falla no se pierden los registros confirmados.

Las MemTable llenas se vuelcan en archivos Lance indexados (SSTable) y se fusionan en segundo plano con la tabla principal. Cada shard, es decir, cada parte de la tabla, escribe de forma independiente. Por eso no existe un commit global de la tabla para cada registro, y la ingesta escala añadiendo shards y nodos. Las consultas miran a la vez la MemTable, las SSTable y la tabla base, de modo que los datos recientes y los antiguos se buscan en una sola consulta. Mientras los índices de la tabla base se ponen al día con los cambios, las consultas usan los índices de las SSTable, y las filas nuevas no desaparecen de los resultados.

La compactación (fusión de archivos pequeños), la actualización de índices y la recolección de basura se ejecutan en workers separados y escalan de forma independiente de la ingesta y las consultas. Si una tabla recibe una carga pesada y constante, se añaden workers de mantenimiento para atenderla.

Qué mostraron las mediciones

Las cifras proceden de la propia LanceDB y se obtuvieron en Amazon EKS con los conjuntos públicos FineWeb-Edu (textos web), MS MARCO (fragmentos de búsqueda) y LAION (pares imagen-texto). No es una verificación independiente. Una escritura solo se contaba tras guardarse en S3, y en cada ejecución se comprobó que la tabla contenía exactamente las filas confirmadas. Cada nodo tenía 30 vCPU y 112 GiB de memoria.

  • Tiempo medio desde la escritura fiable en S3 hasta que la fila es legible: 52 ms.
  • La escritura con índice en vivo por clave primaria pasó de 79–83 MB/s en un shard a 312–334 MB/s en cuatro shards de un mismo nodo.
  • Latencia mediana de las consultas sobre filas recientes durante la ingesta: 15–28 ms para búsqueda de texto completo y 26–30 ms para la vectorial.
  • La escritura en una tabla que ya contenía todo el corpus de FineWeb-Edu o MS MARCO no fue más lenta que en una tabla pequeña. Los datos antiguos siguen disponibles para búsqueda mientras llegan los nuevos.

El índice en vivo consume tiempo de procesador, y su coste depende de los datos. En LAION, la mayor parte de cada fila es la imagen, por lo que mantener todos los índices apenas afecta: 289 MB/s frente a 314 MB/s con un solo índice por clave primaria. Los documentos de texto largo exigen más trabajo del índice de texto completo por cada byte escrito. Por eso se puede elegir, tabla a tabla, qué índices mantener activos y encontrar el equilibrio entre velocidad de escritura y velocidad de consulta sobre los datos nuevos. Las imágenes pueden escribirse directamente en el almacenamiento de objetos, dejando en memoria solo una referencia, para reducir el consumo de memoria del nodo.

Qué significa esto para quien lo implanta

Si construye datasets a partir de flujos de datos de robótica o ejecuta pipelines de RL, Realtime Engine elimina una capa innecesaria: el servicio de búsqueda independiente y la sincronización con él. Las limitaciones también están claras. Es una función de la versión Enterprise de pago, los mejores resultados se muestran con una configuración de varios shards, y mantener una alta velocidad de escritura durante horas depende de que los workers de mantenimiento den abasto.

El formato MemWAL es abierto y está descrito en la especificación de Lance, así que los lectores y escritores compatibles pueden trabajar con los mismos datos. Antes de migrar, conviene probar con la carga propia: en textos largos, el coste de los índices en vivo será mayor que con imágenes.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre El problema de los lagos de datos por lotes?

Los sistemas lakehouse actuales (lagos de datos en los que las tablas se guardan como archivos en almacenamiento de objetos como S3) se construyeron en torno a grandes commits por lotes. Los datos se acumulan, se escriben en archivos columnares y después se publica una nueva versión de la tabla. Almacenar y escanear volúmenes tan grandes es barato, pero con los flujos surge una disyuntiva incómoda. Si se hacen commits con frecuencia, se acumulan archivos pequeños y actualizaciones de metadatos.

Cómo funciona Realtime Engine?

El núcleo es el formato MemWAL, parte del formato de tablas Lance. Añade a Lance un árbol LSM (una estructura que primero acepta registros rápidamente en memoria y en un log y después los fusiona en el almacenamiento principal) sobre el almacenamiento de objetos. Cada nuevo registro llega a un nodo del motor. El nodo lo guarda en un write-ahead log en el almacenamiento de objetos y lo añade a un búfer indexado en memoria, la MemTable.

¿Qué se sabe sobre Qué mostraron las mediciones?

Las cifras proceden de la propia LanceDB y se obtuvieron en Amazon EKS con los conjuntos públicos FineWeb-Edu (textos web), MS MARCO (fragmentos de búsqueda) y LAION (pares imagen-texto). No es una verificación independiente. Una escritura solo se contaba tras guardarse en S3, y en cada ejecución se comprobó que la tabla contenía exactamente las filas confirmadas. Cada nodo tenía 30 vCPU y 112 GiB de memoria. Tiempo medio desde la escritura fiable en S3 hasta que la fila es legible: 52 ms.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…