BatchDAG: LLM-планировщик строит граф операций и режет вызовы модели в 47 раз

En juillet 2026, des chercheurs ont publié sur arXiv un système appelé BatchDAG, dans lequel un modèle de langage construit un graphe d'exécution pour une requête portant sur des données d'entreprise, tandis qu'un moteur distinct l'exécute ; cette approche réduit le nombre d'appels au modèle jusqu'à 47 fois et, en production chez Brevian.ai, traite des requêtes sur 50000+ réunions en moins de 60 secondes.

Comment fonctionne BatchDAG

BatchDAG fonctionne en deux étapes : d'abord, un grand modèle de langage (LLM) génère un graphe orienté acyclique (DAG) typé d'opérations, puis un moteur déterministe l'exécute avec du parallélisme par vagues topologiques. Les nœuds du graphe sont des requêtes SQL, de la recherche sémantique, des transformations en mémoire (in-memory), des embranchements parallèles (fan-out) et des analyses individuelles, et les données circulent entre eux sous forme de JSON structuré.

Le planificateur de BatchDAG produit un graphe correct dans 98,8% des cas — mesuré sur 300 appels de planification, selon l'article publié sur arXiv.

• Réduction du nombre d'appels au LLM — jusqu'à 47 fois grâce à l'entity-aware batching
• DAG correct — dans 98,8% des 300 appels du planificateur
• Échelle — 50000+ réunions traitées en moins de 60 secondes
• Coût par requête — $0,02–$0,24 selon les tarifs publiés de GPT-5.1
• Qualité des réponses — 3,74/5 contre 3,25/5 pour le pipeline expert

Pourquoi moins d'hallucinations

Les résultats intermédiaires en JSON structuré réduisent les hallucinations de 27% par rapport aux résumés en texte libre — c'est ce qu'a montré l'expérience d'ablation contrôlée des auteurs (test t apparié, p=0.107, n=12). Les données intermédiaires dotées d'un schéma explicite n'autorisent pas le modèle à « inventer » des faits entre les étapes.

L'optimisation clé est l'entity-aware batching : avant l'embranchement parallèle, le système regroupe les lignes par entité logique, ce qui produit la réduction jusqu'à 47 fois des appels au LLM. Cela améliore aussi la vérifiabilité : la part de réponses appuyées par une citation issue de la transcription a atteint 77% pour BatchDAG, contre 46–60% pour les approches de référence.

Comment il s'est comporté dans les tests

Dans des expériences contrôlées sur 12 requêtes portant sur des transcriptions de réunions, BatchDAG a obtenu 3,74/5, devançant le pipeline expert (3,25/5) et un agent ReAct (3,09/5, p<0.01). Les auteurs soulignent que l'objectif du système n'est pas la précision en soi, mais l'universalité.

«

BatchDAG ne représente pas tant un gain de précision par rapport à des pipelines optimisés manuellement, qu'une couche d'orchestration universelle qui remplace une multitude de scripts écrits à la main par un seul système », indique l'article publié sur arXiv.

En production chez Brevian.ai, le système fonctionne au-dessus de GPT-5.1 et maintient le coût par requête dans la fourchette de $0,02–$0,24.

Ce que cela signifie

BatchDAG montre une voie pratique pour l'analyse de grands volumes de données d'entreprise : au lieu de dizaines de pipelines écrits à la main, un seul système qui traduit lui-même une requête en langage naturel en un plan d'exécution. Pour les équipes, cela signifie des réponses plus rapides et vérifiables à l'échelle de 50000+ documents, avec des temps de réponse inférieurs à une minute — sans configuration manuelle pour chaque type de question.

Questions fréquentes

Qu'est-ce que BatchDAG ?

BatchDAG est une couche d'orchestration dans laquelle un LLM construit un graphe typé d'opérations (SQL, recherche sémantique, transformations), tandis qu'un moteur déterministe l'exécute en parallèle. Le système a été présenté dans un article sur arXiv en juillet 2026.

Combien coûte une requête ?

Selon les auteurs, le coût d'une seule requête va de $0,02 à $0,24 selon les tarifs publiés de GPT-5.1 — pour le traitement d'un corpus de 50000+ réunions en moins de 60 secondes.

En quoi BatchDAG diffère-t-il d'un agent ReAct ?

BatchDAG construit à l'avance le graphe d'exécution complet et exécute les branches indépendantes en parallèle, alors qu'un agent ReAct agit étape par étape. Dans les tests, cela a donné 3,74/5 contre 3,09/5 pour ReAct et supprime le délai linéaire dû aux appels séquentiels d'outils.