Berkeley describe el razonamiento paralelo adaptativo: el modelo decide cuándo ramificarse

Los modelos de razonamiento se han topado con una aritmética simple: cuanto más tiempo piensan, más caro y más lento resulta su funcionamiento. Los investigadores de Berkeley AI Research Stephen Xie y Tony Lian han publicado un repaso del razonamiento paralelo adaptativo (Adaptive Parallel Reasoning, APR). En él sostienen que la decisión de ramificar el pensamiento debe tomarla el propio modelo, y no un añadido externo de heurísticas. Uno de los autores, Tony Lian, codirigió ThreadWeaver, uno de los métodos analizados, y lo declara de forma explícita en el texto.

Por qué el

Chain-of-Thought lineal se ha convertido en un cuello de botella

El progreso de los últimos años no se apoya solo en más datos y más parámetros, sino también en el escalado del cómputo durante la inferencia. Los modelos que generan pasos intermedios, retrocesos y búsqueda de hipótesis dominan en matemáticas, programación y benchmarks agénticos. El precio es doble.

Primero, el contexto. La acumulación de ramas fallidas diluye la atención del modelo, que distingue peor lo relevante de lo que distrae, y la calidad cae. Este efecto se conoce como context rot. Segundo, la latencia, que crece de forma proporcional a la longitud del razonamiento. En tareas con millones de tokens de planificación, según la referencia de los autores al trabajo de Qu et al., los usuarios esperan decenas de minutos y, a veces, horas.

El paralelismo resuelve ambos problemas: los hilos independientes no arrastran el contexto ajeno y se ejecutan a la vez. Pero la mayoría de los esquemas existentes imponen la estructura al modelo desde fuera.

Catálogo de enfoques: de la votación al KV-cache compartido

El repaso divide el campo en tres grupos.

Fork-and-join simple:

• Self-consistency / Majority Voting (Wang et al., 2023): se muestrean varias cadenas completas de forma independiente y se elige la respuesta más frecuente. • Best-of-N (Stiennon et al., 2022): lo mismo, pero el ganador lo elige un verificador entrenado. • Desventaja común: las ramas no saben nada unas de otras y el cómputo se duplica.

Búsqueda estructural heurística:

• Tree of Thoughts (Yao et al., 2023): BFS/DFS sobre «pensamientos», con poda mediante evaluación por una LLM. • Graph of Thoughts (Besta et al., 2024) y Skeleton of Thoughts (Ning et al., 2024): esquemas de descomposición emparentados. • Monte-Carlo Tree Search (Xie et al., 2024; Zhang et al., 2024): evaluación de nodos mediante simulaciones aleatorias y equilibrio entre exploración y explotación al estilo UCB. • Desventaja: hay que saber de antemano cómo descomponer la tarea.

Nuevas variantes dentro del modelo:

• ParaThinker (Wen et al., 2025): dos etapas fijas, generación paralela de hilos y posterior síntesis. Utiliza tokens de control entrenables <think_i>, embeddings posicionales para cada pensamiento y una máscara de atención en dos fases. • GroupThink (Hsu et al., 2025): una sola LLM lleva varias trayectorias interdependientes que ven el progreso parcial de las demás a nivel de token y se ajustan durante la propia generación. • Hogwild! Inference (Rodionov et al., 2025): los workers escriben en un KV-cache compartido, y RoPE permite unir bloques de caché en distinto orden sin recalcular. No hay un protocolo de coordinación explícito.

La debilidad común de los tres grupos es que la decisión de si paralelizar o no se toma por el modelo. Los autores ponen un ejemplo: aplicar la misma estructura a «¿cuánto es 25+42?» y al problema de la región plana de menor área en la que se puede girar 180° un segmento de longitud unitaria desperdicia cómputo en el primer caso y, probablemente, elige una descomposición equivocada en el segundo.

Qué cambia con la adaptabilidad

En APR, la adaptabilidad significa repartir dinámicamente el cómputo entre operaciones paralelas y secuenciales durante la propia inferencia. El paradigma lo introdujeron Pan et al. en el trabajo Learning Adaptive Parallel Reasoning with Language Models (2025). Con el término «método APR», los autores del repaso designan precisamente su implementación concreta.

En la práctica, el modelo genera tokens especiales que controlan la transición entre modos. En la trayectoria de ThreadWeaver que muestra el repaso, dentro del bloque <Parallel> aparecen dos planes y dos vías de solución, y después los hilos convergen en una única respuesta enmarcada.

Los autores señalan tres ventajas:

• A diferencia de Tree of Thoughts, no hacen falta heurísticas de dominio. El aprendizaje por refuerzo aporta estrategias generales de descomposición. Los modelos encuentran por sí solos patrones como lanzar el siguiente paso en paralelo con la autoverificación del anterior o cubrir el enfoque principal con uno de reserva. • A diferencia de Best-of-N, no hay duplicación. El modelo forma de antemano un conjunto de subtareas que no se solapan y solo después las reparte entre los hilos. • A diferencia de los esquemas no adaptativos, el modelo puede no ramificarse en absoluto si los costes añadidos del paralelismo superan el beneficio.

Qué debe comprobar el ingeniero

Para quienes construyen un stack de inferencia, el repaso deja tres preguntas prácticas. Primera: hay que medir por separado la latencia en tiempo real (wall-clock) y el total de tokens. Los hilos paralelos reducen la espera, pero con una mala descomposición el coste total puede no bajar.

Esta es una conclusión derivada de la lógica de los enfoques, no una cifra del repaso. Segunda: aislamiento de hilos frente a KV-cache compartido. Hogwild!

ahorra recálculo y memoria, mientras que ParaThinker y el estilo ThreadWeaver ofrecen una separación de contextos más limpia. Tercera: un modelo adaptativo introduce una métrica nueva, la proporción de tareas en las que renunció correctamente al paralelismo. En consultas simples, esa renuncia es precisamente lo que distingue a APR de Best-of-N con un N fijo.

Para los equipos que hoy pagan por cadenas de razonamiento largas en escenarios agénticos y de programación, APR parece el siguiente paso tras alargar la generación. Junto con el repaso, BAIR ha fijado también una terminología con la que ya se pueden comparar este tipo de trabajos.