LanceDB lance Realtime Engine : les données fraîches deviennent interrogeables en 52 ms
Dans les data lakes classiques, l'écriture attend un commit par lots, si bien qu'une image enregistrée il y a une seconde ne peut pas être trouvée par la recherche. LanceDB ajoute à sa version Enterprise le Realtime Engine : une ligne est confirmée après son enregistrement sur le stockage S3 et se lit en 52 ms en moyenne. La recherche sur les lignes fraîches prend 15 à 28 ms pour le texte et 26 à 30 ms pour les vecteurs. Pour les jeux de données vivants de robotique et de RL, il n'est pas nécessaire de recourir à un service de recherche séparé.
Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Imaginez un ingénieur qui analyse une prise ratée d'un bras robotisé. L'image a été enregistrée il y a une seconde, mais elle n'est pas encore dans la table : le système attend qu'un lot de données se constitue et qu'un commit, c'est-à-dire la publication d'une nouvelle version de la table, ait lieu. Le même problème touche un chercheur qui entraîne un modèle par apprentissage par renforcement (RL) et veut consulter un essai qui vient de se terminer.
L'entreprise LanceDB a publié pour sa version payante LanceDB Enterprise un moteur, Realtime Engine, qui supprime cette attente. Selon ses mesures, le temps médian entre le moment où l'écriture est bien enregistrée dans le stockage cloud S3 et celui où la ligne peut être lue est de 52 millisecondes.
Le problème des data lakes par lots
Les systèmes lakehouse actuels (data lakes dont les tables sont stockées sous forme de fichiers dans un stockage objet comme S3) ont été conçus autour de gros commits par lots. Les données sont rassemblées, écrites dans des fichiers colonnaires, puis une nouvelle version de la table est publiée. Stocker et parcourir de tels volumes coûte peu, mais les flux posent un dilemme. Si l'on commit souvent, les petits fichiers et les mises à jour de métadonnées s'accumulent. Si l'on attend un gros lot, les lecteurs attendent avec les écrivains.
Le phénomène est particulièrement visible pour les tâches d'IA. Les flottes de robots produisent en continu des images et des relevés de capteurs, tandis que les pipelines d'annotation ajoutent des étiquettes et des embeddings. Une étiquette corrigée doit influencer immédiatement le filtre suivant, et un embedding recalculé doit intervenir dans la recherche vectorielle suivante. En apprentissage par renforcement, des workers écrivent des trajectoires, des graders ajoutent des récompenses, et le processus d'entraînement récupère les exemples prêts. Tout cela se déroule en parallèle et sans interruption.
La solution habituelle consiste à placer devant le lac un tampon d'écriture ou un service de recherche séparé. LanceDB pointe les inconvénients de cette approche : l'ingestion ne fonctionne souvent qu'en ajout de lignes, la prise en charge des index vectoriels et plein texte est faible, et les données sont liées à un fournisseur. Tant qu'elles restent dans un tampon fermé, d'autres moteurs ne peuvent pas les lire via le format de table ouvert. La fiabilité dépend alors souvent de la réplication du tampon lui-même, et non du stockage objet.
Fonctionnement de Realtime Engine
Le moteur repose sur le format MemWAL, une partie du format de table Lance. Il ajoute à Lance un arbre LSM (une structure qui accueille d'abord rapidement les écritures en mémoire et dans un journal, puis les fusionne dans le stockage principal) par-dessus le stockage objet. Une nouvelle écriture arrive sur un nœud du moteur. Le nœud la enregistre dans un journal de écriture anticipée (write-ahead log) dans le stockage objet, puis l'ajoute à un tampon indexé en mémoire, le MemTable. La réponse de succès n'arrive qu'une fois les données bien sauvegardées : en cas de panne d'un nœud, les écritures confirmées ne sont donc pas perdues.
Les MemTable pleins sont vidés dans des fichiers Lance indexés (SSTable) et fusionnés en arrière-plan avec la table principale. Chaque shard, c'est-à-dire chaque partie de la table, écrit de manière indépendante. Il n'y a donc pas de commit global à toute la table pour chaque écriture, et l'ingestion évolue en ajoutant des shards et des nœuds. Les requêtes consultent à la fois le MemTable, les SSTable et la table de base, si bien que données récentes et anciennes sont recherchées en une seule requête. Pendant que les index de la table de base rattrapent les modifications, les requêtes utilisent les index des SSTable, et les nouvelles lignes ne disparaissent pas des résultats.
La compaction (fusion des petits fichiers), la mise à jour des index et la collecte des déchets s'exécutent sur des workers dédiés et évoluent indépendamment de l'ingestion et des requêtes. Si une table subit une charge lourde et permanente, on ajoute des workers de maintenance.
Ce que montrent les mesures
Les chiffres ont été obtenus par LanceDB elle-même sur Amazon EKS, à partir des jeux de données publics FineWeb-Edu (textes du web), MS MARCO (extraits de recherche) et LAION (paires « image — texte »). Il ne s'agit pas d'une vérification indépendante. L'écriture n'était comptée qu'après sa sauvegarde sur S3, et chaque essai vérifiait que la table contenait exactement les lignes confirmées. Un nœud disposait de 30 vCPU et de 112 GiB de mémoire.
- Temps médian entre l'écriture fiable sur S3 et la lecture de la ligne : 52 ms.
- Le débit d'écriture avec index vivant sur la clé primaire passe de 79 à 83 Mo/s sur un shard à 312 à 334 Mo/s sur quatre shards d'un même nœud.
- Latence médiane des requêtes sur les lignes fraîches pendant l'ingestion : 15 à 28 ms pour la recherche plein texte et 26 à 30 ms pour la recherche vectorielle.
- Écrire dans une table contenant déjà l'intégralité du corpus FineWeb-Edu ou MS MARCO n'est pas plus lent que dans une petite table. Les anciennes données restent interrogeables pendant l'arrivée des nouvelles.
L'index vivant consomme du temps de processeur, et son coût dépend des données. Sur LAION, l'essentiel de chaque ligne est occupé par l'image, si bien que la prise en charge de tous les index pèse peu : 289 Mo/s contre 314 Mo/s avec un seul index sur la clé primaire. Les longs documents textuels exigent davantage de travail de l'index plein texte pour chaque octet écrit.
On peut donc choisir, table par table, les index à maintenir en direct, et trouver un équilibre entre débit d'écriture et rapidité des requêtes sur les données récentes. Le moteur peut aussi écrire les images directement dans le stockage objet, en ne gardant en mémoire qu'une référence, afin de réduire la consommation mémoire du nœud.
Ce que cela change pour les praticiens
Si vous constituez des jeux de données à partir d'un flux issu de la robotique ou si vous faites tourner des pipelines de RL, Realtime Engine supprime une couche superflue : le service de recherche séparé et sa synchronisation. Les limites sont elles aussi claires. Il s'agit d'une fonctionnalité de la version Enterprise payante, les meilleurs résultats ont été obtenus avec une configuration à plusieurs shards, et le maintien d'un débit d'écriture élevé sur la durée dépend de la capacité des workers de maintenance à suivre.
Le format MemWAL est ouvert et décrit dans la spécification Lance, de sorte que des lecteurs et écrivains compatibles peuvent travailler sur les mêmes données. Avant de migrer, testez votre propre charge : sur les longs textes, le coût des index vivants sera supérieur à celui observé sur les images.
- 16 mai 2026OpenAI ajoute GPT-Realtime-2, Translate et Whisper à son API pour les applications vocales
- 31 mai 2026Interrupt 2026 : LangChain dévoile des outils pour déboguer les agents IA en production
- 21 nov. 2026Cognee stocke la mémoire des agents dans LanceDB : un dossier par test, sans serveur
- 21 nov. 2026Le reranker de Cohere fait passer la précision de la recherche hybride en RAG au-dessus de 90 % dans le test de LanceDB
Questions clés sur cet article
Que sait-on sur Le problème des data lakes par lots ?
Les systèmes lakehouse actuels (data lakes dont les tables sont stockées sous forme de fichiers dans un stockage objet comme S3) ont été conçus autour de gros commits par lots. Les données sont rassemblées, écrites dans des fichiers colonnaires, puis une nouvelle version de la table est publiée. Stocker et parcourir de tels volumes coûte peu, mais les flux posent un dilemme. Si l'on commit souvent, les petits fichiers et les mises à jour de métadonnées s'accumulent.
Que sait-on sur Fonctionnement de Realtime Engine ?
Le moteur repose sur le format MemWAL, une partie du format de table Lance. Il ajoute à Lance un arbre LSM (une structure qui accueille d'abord rapidement les écritures en mémoire et dans un journal, puis les fusionne dans le stockage principal) par-dessus le stockage objet. Une nouvelle écriture arrive sur un nœud du moteur. Le nœud la enregistre dans un journal de écriture anticipée (write-ahead log) dans le stockage objet, puis l'ajoute à un tampon indexé en mémoire, le MemTable.
Que sait-on sur Ce que montrent les mesures ?
Les chiffres ont été obtenus par LanceDB elle-même sur Amazon EKS, à partir des jeux de données publics FineWeb-Edu (textes du web), MS MARCO (extraits de recherche) et LAION (paires « image — texte »). Il ne s'agit pas d'une vérification indépendante. L'écriture n'était comptée qu'après sa sauvegarde sur S3, et chaque essai vérifiait que la table contenait exactement les lignes confirmées. Un nœud disposait de 30 vCPU et de 112 GiB de mémoire.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.