Berkeley décrit le raisonnement parallèle adaptatif : le modèle décide seul quand se ramifier

Les modèles de raisonnement butent sur une arithmétique simple : plus ils réfléchissent longtemps, plus ils coûtent cher et plus ils sont lents. Stephen Xie et Tony Lian, de Berkeley AI Research, ont publié une revue du raisonnement parallèle adaptatif (Adaptive Parallel Reasoning, APR). Ils y soutiennent que la décision de ramifier la réflexion doit revenir au modèle lui-même, et non à un échafaudage externe d'heuristiques. Tony Lian a codirigé ThreadWeaver, l'une des méthodes analysées, et l'indique explicitement dans le texte.

Pourquoi le

Chain-of-Thought linéaire est devenu un goulot d'étranglement

Les progrès de ces dernières années ne reposent pas uniquement sur la hausse des données et du nombre de paramètres, mais aussi sur le passage à l'échelle du calcul au moment de l'inférence. Les modèles qui produisent des étapes intermédiaires, des retours en arrière et une exploration d'hypothèses dominent en mathématiques, en code et sur les benchmarks agentiques. Le prix à payer est double.

Premièrement, le contexte. L'accumulation de branches ratées dilue l'attention du modèle : il distingue moins bien l'utile du parasite, et la qualité baisse. Cet effet porte le nom de context rot. Deuxièmement, la latence, qui croît proportionnellement à la longueur du raisonnement. Sur des tâches de planification de plusieurs millions de tokens, les utilisateurs attendent, selon le travail de Qu et al. cité par les auteurs, des dizaines de minutes, parfois des heures.

Le parallélisme résout les deux problèmes : les flux indépendants ne traînent pas le contexte des autres et s'exécutent simultanément. Mais la plupart des schémas existants imposent la structure au modèle depuis l'extérieur.

Panorama des approches : du vote au KV-cache partagé

La revue répartit le domaine en trois groupes.

Fork-and-join simple :

• Self-consistency / Majority Voting (Wang et al., 2023) : on échantillonne indépendamment plusieurs chaînes complètes et on retient la réponse la plus fréquente. • Best-of-N (Stiennon et al., 2022) : même principe, mais le gagnant est désigné par un vérificateur entraîné. • Défaut commun : les branches s'ignorent mutuellement et les calculs sont dupliqués.

Recherche structurelle heuristique :

• Tree of Thoughts (Yao et al., 2023) : parcours BFS/DFS des « pensées », avec élagage fondé sur une évaluation par LLM. • Graph of Thoughts (Besta et al., 2024) et Skeleton of Thoughts (Ning et al., 2024) : schémas de décomposition apparentés. • Monte-Carlo Tree Search (Xie et al., 2024 ; Zhang et al., 2024) : évaluation des nœuds par simulations aléatoires et équilibre exploration/exploitation de type UCB. • Défaut : il faut savoir à l'avance comment décomposer la tâche.

Nouvelles variantes internes au modèle :

• ParaThinker (Wen et al., 2025) : deux étapes fixes, génération parallèle de flux puis synthèse. Il utilise des tokens de contrôle apprenables <think_i>, des embeddings positionnels propres à chaque pensée et un masque d'attention en deux phases. • GroupThink (Hsu et al., 2025) : un seul LLM conduit plusieurs trajectoires interdépendantes, qui voient l'avancement partiel des autres au niveau des tokens et s'ajustent en cours de génération. • Hogwild! Inference (Rodionov et al., 2025) : les workers écrivent dans un KV-cache commun, et RoPE permet d'assembler les blocs de cache dans un ordre quelconque sans recalcul. Il n'existe aucun protocole de coordination explicite.

La faiblesse commune de ces trois groupes tient à ce que la décision « faut-il paralléliser ou non » est prise à la place du modèle. Les auteurs donnent un exemple : appliquer la même structure à « combien font 25+42 ? » et au problème de la plus petite région plane dans laquelle un segment de longueur unité peut pivoter de 180° gaspille du calcul dans le premier cas et, dans le second, retient probablement la mauvaise décomposition.

Ce que change l'adaptativité

Dans l'APR, l'adaptativité désigne la répartition dynamique du calcul entre opérations parallèles et séquentielles, directement à l'inférence. Le paradigme a été introduit par Pan et al. dans Learning Adaptive Parallel Reasoning with Language Models (2025). Les auteurs de la revue réservent le terme « méthode APR » à cette implémentation précise.

En pratique, le modèle génère des tokens spéciaux qui pilotent la transition entre les modes. Dans la trajectoire ThreadWeaver présentée par la revue, un bloc <Parallel> contient deux plans et deux chemins de résolution, après quoi les flux convergent vers une réponse unique encadrée.

Les auteurs avancent trois avantages :

• Contrairement à Tree of Thoughts, aucune heuristique propre au domaine n'est nécessaire. L'apprentissage par renforcement produit des stratégies de décomposition générales. Les modèles trouvent eux-mêmes des schémas comme lancer l'étape suivante en parallèle de l'auto-vérification de la précédente, ou sécuriser l'approche principale par une approche de secours. • Contrairement à Best-of-N, il n'y a pas de duplication. Le modèle constitue d'abord un ensemble de sous-tâches sans chevauchement, puis les distribue aux flux. • Contrairement aux schémas non adaptatifs, le modèle peut ne pas se ramifier du tout si le surcoût du parallélisme dépasse le gain.

Ce que l'ingénieur doit vérifier

Pour ceux qui construisent une pile d'inférence, la revue soulève trois questions pratiques. Première question : il faut mesurer séparément la latence en temps réel (wall-clock) et le total de tokens. Les flux parallèles réduisent l'attente, mais avec une mauvaise décomposition, le coût total peut ne pas baisser.

C'est une conclusion tirée de la logique des approches, et non un chiffre issu de la revue. Deuxième question : l'isolation des flux contre un KV-cache partagé. Hogwild!

économise le recalcul et la mémoire, tandis que ParaThinker et le style ThreadWeaver offrent une séparation plus nette des contextes. Troisième question : un modèle adaptatif introduit une nouvelle métrique, à savoir la part des tâches pour lesquelles il a eu raison de renoncer au parallélisme. Sur les requêtes simples, c'est précisément ce renoncement qui distingue l'APR de Best-of-N avec un N fixe.

Pour les équipes qui paient aujourd'hui des chaînes de raisonnement longues dans des scénarios agentiques et de code, l'APR apparaît comme l'étape suivante après l'allongement de la génération. Avec cette revue, BAIR a aussi posé une terminologie qui permet désormais de comparer ces travaux.