Berkeley descreve raciocínio paralelo adaptativo: o próprio modelo decide quando ramificar

Os modelos de raciocínio esbarraram numa aritmética simples: quanto mais tempo pensam, mais caros e lentos ficam. Os pesquisadores da Berkeley AI Research Stephen Xie e Tony Lian publicaram um survey sobre raciocínio paralelo adaptativo (Adaptive Parallel Reasoning, APR). Nele, argumentam que a decisão de ramificar o pensamento deve caber ao próprio modelo, e não a um conjunto externo de heurísticas. Um dos autores, Tony Lian, co-liderou o ThreadWeaver, um dos métodos analisados, e declarou isso explicitamente no texto.

Por que o Chain-of-Thought linear virou gargalo

O progresso dos últimos anos não depende apenas de mais dados e parâmetros, mas também do escalonamento de computação na etapa de inferência. Modelos que produzem passos intermediários, retrocessos e testes de hipóteses dominam em matemática, programação e benchmarks de agentes. O preço a pagar é duplo.

Primeiro, o contexto. O acúmulo de ramos malsucedidos dilui a atenção do modelo, que passa a distinguir pior o que importa do que distrai, e a qualidade cai. Esse efeito é chamado de context rot. Segundo, a latência, que cresce proporcionalmente ao tamanho do raciocínio. Em tarefas de planejamento com milhões de tokens, segundo os autores, que citam o trabalho de Qu et al., os usuários esperam dezenas de minutos e, às vezes, horas.

O paralelismo resolve os dois problemas: threads independentes não carregam o contexto das outras e são executadas simultaneamente. Mas a maioria dos esquemas existentes impõe a estrutura ao modelo por fora.

Catálogo de abordagens: da votação ao KV-cache compartilhado

O survey divide o campo em três grupos.

Fork-and-join simples:

• Self-consistency / Majority Voting (Wang et al., 2023): amostra-se de forma independente várias cadeias completas e fica-se com a resposta mais frequente. • Best-of-N (Stiennon et al., 2022): o mesmo princípio, mas o vencedor é escolhido por um verificador treinado. • Desvantagem comum: os ramos não sabem da existência uns dos outros, e a computação é duplicada.

Busca estrutural heurística:

• Tree of Thoughts (Yao et al., 2023): BFS/DFS sobre "pensamentos", com poda baseada em avaliação por LLM. • Graph of Thoughts (Besta et al., 2024) e Skeleton of Thoughts (Ning et al., 2024): esquemas de decomposição semelhantes. • Monte-Carlo Tree Search (Xie et al., 2024; Zhang et al., 2024): avaliação de nós por simulações aleatórias e equilíbrio entre exploração e aproveitamento no estilo UCB. • Desvantagem: é preciso saber de antemão como decompor a tarefa.

Novas variantes dentro do modelo:

• ParaThinker (Wen et al., 2025): duas etapas fixas, com geração paralela de threads e depois síntese. Usa tokens de controle treináveis <think_i>, embeddings posicionais para cada pensamento e uma máscara de atenção em duas fases. • GroupThink (Hsu et al., 2025): uma única LLM conduz várias trajetórias interdependentes, que enxergam o progresso parcial umas das outras no nível de token e se ajustam durante a própria geração. • Hogwild! Inference (Rodionov et al., 2025): os workers escrevem em um KV-cache compartilhado, e o RoPE permite juntar blocos de cache em ordem diferente sem recalcular. Não há protocolo explícito de coordenação.

A fraqueza comum aos três grupos é que a decisão de paralelizar ou não já foi tomada pelo modelo. Os autores dão um exemplo: aplicar a mesma estrutura a "quanto é 25+42?" e ao problema da menor região plana em que um segmento de comprimento unitário pode ser girado em 180° desperdiça computação no primeiro caso e, provavelmente, escolhe a decomposição errada no segundo.

O que a adaptatividade muda

No APR, adaptatividade significa distribuir dinamicamente a computação entre operações paralelas e sequenciais durante a própria inferência. O paradigma foi introduzido por Pan et al. no trabalho Learning Adaptive Parallel Reasoning with Language Models (2025). Os autores do survey usam o termo "método APR" para designar especificamente a implementação concreta desse paradigma.

Na prática, o modelo gera tokens especiais que controlam a transição entre os modos. Na trajetória do ThreadWeaver mostrada no survey, dentro do bloco <Parallel> aparecem dois planos e dois caminhos de solução, e depois as threads convergem para uma única resposta, destacada em uma caixa.

Os autores apontam três vantagens:

• Ao contrário do Tree of Thoughts, não são necessárias heurísticas de domínio. O aprendizado por reforço produz estratégias gerais de decomposição. Os modelos encontram sozinhos padrões como iniciar o passo seguinte em paralelo com a autoverificação do anterior, ou cobrir a abordagem principal com uma de reserva. • Ao contrário do Best-of-N, não há duplicação. O modelo primeiro forma um conjunto de subtarefas sem sobreposição e só depois as distribui entre as threads. • Ao contrário dos esquemas não adaptativos, o modelo pode simplesmente não ramificar se o custo extra do paralelismo superar o benefício.

O que o engenheiro deve verificar

Para quem monta uma stack de inferência, o survey levanta três questões práticas. A primeira: é preciso medir separadamente a latência em tempo real (wall-clock) e o total de tokens. Threads paralelas reduzem a espera, mas, com uma decomposição ruim, o custo total pode não diminuir.

Essa é uma conclusão da lógica das abordagens, e não um número do survey. A segunda: isolamento de threads versus KV-cache compartilhado. O Hogwild!

economiza recálculo e memória, enquanto o ParaThinker e o estilo ThreadWeaver oferecem uma separação mais limpa dos contextos. A terceira: o modelo adaptativo ganha uma nova métrica, a fração de tarefas em que ele acertou ao abrir mão do paralelismo. Em consultas simples, é justamente essa recusa que diferencia o APR de um Best-of-N com N fixo.

Para equipes que hoje pagam por longas cadeias de raciocínio em cenários de agentes e programação, o APR parece o passo seguinte ao simples aumento do tamanho da geração. Junto com o survey, a BAIR também estabeleceu uma terminologia que agora permite comparar trabalhos desse tipo.