Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarLanceDB Blog→ original

LanceDB lance Realtime Engine : les données fraîches deviennent interrogeables en 52 ms

Dans les data lakes classiques, l'écriture attend un commit par lots, si bien qu'une image enregistrée il y a une seconde ne peut pas être trouvée par la recherche. LanceDB ajoute à sa version Enterprise le Realtime Engine : une ligne est confirmée après son enregistrement sur le stockage S3 et se lit en 52 ms en moyenne. La recherche sur les lignes fraîches prend 15 à 28 ms pour le texte et 26 à 30 ms pour les vecteurs. Pour les jeux de données vivants de robotique et de RL, il n'est pas nécessaire de recourir à un service de recherche séparé.

Traité par IA depuis LanceDB Blog ; édité par Hamidun News
LanceDB lance Realtime Engine : les données fraîches deviennent interrogeables en 52 ms
Source : LanceDB Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireLanceDB Blog ↗
Rédacteur en chef
Chiffre clé #1Le débit d'écriture passe de 79 à 83 Mo/s sur un shard à 312 à 334 Mo/s sur quatre
Chiffre clé #2Le format MemWAL, fondé sur un arbre LSM, est ouvert et intégré à la spécification Lance
Chiffre clé #3Sur LAION, tous les index donnent 289 Mo/s contre 314 Mo/s avec un seul index

Imaginez un ingénieur qui analyse une prise ratée d'un bras robotisé. L'image a été enregistrée il y a une seconde, mais elle n'est pas encore dans la table : le système attend qu'un lot de données se constitue et qu'un commit, c'est-à-dire la publication d'une nouvelle version de la table, ait lieu. Le même problème touche un chercheur qui entraîne un modèle par apprentissage par renforcement (RL) et veut consulter un essai qui vient de se terminer.

L'entreprise LanceDB a publié pour sa version payante LanceDB Enterprise un moteur, Realtime Engine, qui supprime cette attente. Selon ses mesures, le temps médian entre le moment où l'écriture est bien enregistrée dans le stockage cloud S3 et celui où la ligne peut être lue est de 52 millisecondes.

Le problème des data lakes par lots

Les systèmes lakehouse actuels (data lakes dont les tables sont stockées sous forme de fichiers dans un stockage objet comme S3) ont été conçus autour de gros commits par lots. Les données sont rassemblées, écrites dans des fichiers colonnaires, puis une nouvelle version de la table est publiée. Stocker et parcourir de tels volumes coûte peu, mais les flux posent un dilemme. Si l'on commit souvent, les petits fichiers et les mises à jour de métadonnées s'accumulent. Si l'on attend un gros lot, les lecteurs attendent avec les écrivains.

Le phénomène est particulièrement visible pour les tâches d'IA. Les flottes de robots produisent en continu des images et des relevés de capteurs, tandis que les pipelines d'annotation ajoutent des étiquettes et des embeddings. Une étiquette corrigée doit influencer immédiatement le filtre suivant, et un embedding recalculé doit intervenir dans la recherche vectorielle suivante. En apprentissage par renforcement, des workers écrivent des trajectoires, des graders ajoutent des récompenses, et le processus d'entraînement récupère les exemples prêts. Tout cela se déroule en parallèle et sans interruption.

La solution habituelle consiste à placer devant le lac un tampon d'écriture ou un service de recherche séparé. LanceDB pointe les inconvénients de cette approche : l'ingestion ne fonctionne souvent qu'en ajout de lignes, la prise en charge des index vectoriels et plein texte est faible, et les données sont liées à un fournisseur. Tant qu'elles restent dans un tampon fermé, d'autres moteurs ne peuvent pas les lire via le format de table ouvert. La fiabilité dépend alors souvent de la réplication du tampon lui-même, et non du stockage objet.

Fonctionnement de Realtime Engine

Le moteur repose sur le format MemWAL, une partie du format de table Lance. Il ajoute à Lance un arbre LSM (une structure qui accueille d'abord rapidement les écritures en mémoire et dans un journal, puis les fusionne dans le stockage principal) par-dessus le stockage objet. Une nouvelle écriture arrive sur un nœud du moteur. Le nœud la enregistre dans un journal de écriture anticipée (write-ahead log) dans le stockage objet, puis l'ajoute à un tampon indexé en mémoire, le MemTable. La réponse de succès n'arrive qu'une fois les données bien sauvegardées : en cas de panne d'un nœud, les écritures confirmées ne sont donc pas perdues.

Les MemTable pleins sont vidés dans des fichiers Lance indexés (SSTable) et fusionnés en arrière-plan avec la table principale. Chaque shard, c'est-à-dire chaque partie de la table, écrit de manière indépendante. Il n'y a donc pas de commit global à toute la table pour chaque écriture, et l'ingestion évolue en ajoutant des shards et des nœuds. Les requêtes consultent à la fois le MemTable, les SSTable et la table de base, si bien que données récentes et anciennes sont recherchées en une seule requête. Pendant que les index de la table de base rattrapent les modifications, les requêtes utilisent les index des SSTable, et les nouvelles lignes ne disparaissent pas des résultats.

La compaction (fusion des petits fichiers), la mise à jour des index et la collecte des déchets s'exécutent sur des workers dédiés et évoluent indépendamment de l'ingestion et des requêtes. Si une table subit une charge lourde et permanente, on ajoute des workers de maintenance.

Ce que montrent les mesures

Les chiffres ont été obtenus par LanceDB elle-même sur Amazon EKS, à partir des jeux de données publics FineWeb-Edu (textes du web), MS MARCO (extraits de recherche) et LAION (paires « image — texte »). Il ne s'agit pas d'une vérification indépendante. L'écriture n'était comptée qu'après sa sauvegarde sur S3, et chaque essai vérifiait que la table contenait exactement les lignes confirmées. Un nœud disposait de 30 vCPU et de 112 GiB de mémoire.

  • Temps médian entre l'écriture fiable sur S3 et la lecture de la ligne : 52 ms.
  • Le débit d'écriture avec index vivant sur la clé primaire passe de 79 à 83 Mo/s sur un shard à 312 à 334 Mo/s sur quatre shards d'un même nœud.
  • Latence médiane des requêtes sur les lignes fraîches pendant l'ingestion : 15 à 28 ms pour la recherche plein texte et 26 à 30 ms pour la recherche vectorielle.
  • Écrire dans une table contenant déjà l'intégralité du corpus FineWeb-Edu ou MS MARCO n'est pas plus lent que dans une petite table. Les anciennes données restent interrogeables pendant l'arrivée des nouvelles.

L'index vivant consomme du temps de processeur, et son coût dépend des données. Sur LAION, l'essentiel de chaque ligne est occupé par l'image, si bien que la prise en charge de tous les index pèse peu : 289 Mo/s contre 314 Mo/s avec un seul index sur la clé primaire. Les longs documents textuels exigent davantage de travail de l'index plein texte pour chaque octet écrit.

On peut donc choisir, table par table, les index à maintenir en direct, et trouver un équilibre entre débit d'écriture et rapidité des requêtes sur les données récentes. Le moteur peut aussi écrire les images directement dans le stockage objet, en ne gardant en mémoire qu'une référence, afin de réduire la consommation mémoire du nœud.

Ce que cela change pour les praticiens

Si vous constituez des jeux de données à partir d'un flux issu de la robotique ou si vous faites tourner des pipelines de RL, Realtime Engine supprime une couche superflue : le service de recherche séparé et sa synchronisation. Les limites sont elles aussi claires. Il s'agit d'une fonctionnalité de la version Enterprise payante, les meilleurs résultats ont été obtenus avec une configuration à plusieurs shards, et le maintien d'un débit d'écriture élevé sur la durée dépend de la capacité des workers de maintenance à suivre.

Le format MemWAL est ouvert et décrit dans la spécification Lance, de sorte que des lecteurs et écrivains compatibles peuvent travailler sur les mêmes données. Avant de migrer, testez votre propre charge : sur les longs textes, le coût des index vivants sera supérieur à celui observé sur les images.

Dossier

Questions clés sur cet article

Que sait-on sur Le problème des data lakes par lots ?

Les systèmes lakehouse actuels (data lakes dont les tables sont stockées sous forme de fichiers dans un stockage objet comme S3) ont été conçus autour de gros commits par lots. Les données sont rassemblées, écrites dans des fichiers colonnaires, puis une nouvelle version de la table est publiée. Stocker et parcourir de tels volumes coûte peu, mais les flux posent un dilemme. Si l'on commit souvent, les petits fichiers et les mises à jour de métadonnées s'accumulent.

Que sait-on sur Fonctionnement de Realtime Engine ?

Le moteur repose sur le format MemWAL, une partie du format de table Lance. Il ajoute à Lance un arbre LSM (une structure qui accueille d'abord rapidement les écritures en mémoire et dans un journal, puis les fusionne dans le stockage principal) par-dessus le stockage objet. Une nouvelle écriture arrive sur un nœud du moteur. Le nœud la enregistre dans un journal de écriture anticipée (write-ahead log) dans le stockage objet, puis l'ajoute à un tampon indexé en mémoire, le MemTable.

Que sait-on sur Ce que montrent les mesures ?

Les chiffres ont été obtenus par LanceDB elle-même sur Amazon EKS, à partir des jeux de données publics FineWeb-Edu (textes du web), MS MARCO (extraits de recherche) et LAION (paires « image — texte »). Il ne s'agit pas d'une vérification indépendante. L'écriture n'était comptée qu'après sa sauvegarde sur S3, et chaque essai vérifiait que la table contenait exactement les lignes confirmées. Un nœud disposait de 30 vCPU et de 112 GiB de mémoire.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…