Apple e CMU aceleram agentes de IA em 10 vezes ao trocar o raciocínio por escolha

Pesquisadores da Apple e da Carnegie Mellon University propuseram um método para acelerar agentes baseados em LLM em cerca de 10 vezes. Em vez de escrever um raciocínio elaborado antes de cada ação, o modelo escolhe o próximo passo em um conjunto de opções, como em uma prova de múltipla escolha. A informação é do veículo chinês Jiqizhixin. O número "10 vezes" vem do título da publicação: o trecho de texto disponível não traz nem o nome do método, nem tabelas com benchmarks, então por enquanto não é possível verificá-lo.

Onde o agente perde tempo

O agente típico segue o esquema ReAct: observação, pensamento, ação. Antes de cada movimento, o modelo gera texto livre. Ele analisa a situação atual, pesa as evidências coletadas e só depois decide o que fazer. Esse é o núcleo do paradigma e é ele que dá flexibilidade aos agentes. Mas essa flexibilidade tem um preço.

Os tokens são gerados de forma sequencial, um após o outro. Se o raciocínio ocupa centenas de tokens e a ação em si cabe em uma dezena, a maior parte do tempo e do dinheiro vai para o "pensar". Em uma tarefa de vinte a trinta passos, essas perdas se acumulam, e a latência da resposta cresce quase linearmente com o número de passos.

O que Apple e CMU propõem

A ideia, segundo o título: transformar a geração em uma tarefa de escolha. O modelo não compõe o raciocínio do zero; ele recebe opções e indica a mais adequada. A saída encolhe de centenas de tokens para alguns poucos. Isso explica de onde pode vir essa ordem de grandeza de aceleração. Mas essa é a minha interpretação da mecânica: os detalhes não são revelados no texto disponível.

Do trecho publicado, sabe-se o seguinte:

• autores: pesquisadores da Apple e da Carnegie Mellon University;
• problema: o raciocínio livre antes de cada ação no ReAct gera um overhead perceptível na inferência;
• solução: substituir a geração livre do "pensar" por um formato de escolha entre opções;
• resultado declarado: aceleração da inferência do agente em cerca de 10 vezes;
• não revelado: o nome do método, o conjunto de tarefas, os modelos e o impacto na taxa de tarefas resolvidas com sucesso.

O último item é o mais importante. Qualquer compressão do raciocínio corre o risco de prejudicar a qualidade, sobretudo em tarefas longas, em que um erro inicial contamina toda a cadeia.

O que verificar primeiro

Ao ler o artigo completo, vale buscar resposta para algumas perguntas. De onde vêm as opções? Se os candidatos também são gerados por um modelo grande, parte da economia simplesmente se desloca para outra etapa. Como o método se comporta em ambientes abertos, onde o espaço de ações não se reduz a uma lista curta? Contra quais baselines a comparação foi feita: o ReAct completo, um chain-of-thought curto ou outros aceleradores, como decodificação especulativa e cache?

Para as equipes que constroem agentes, já vale calcular agora que fatia dos tokens de saída nos seus traces é ocupada pelo raciocínio. Se for mais da metade, o formato de escolha ou qualquer outra compressão do "pensamento" pode render um ganho expressivo de latência e de custo por chamada. Se o raciocínio ocupa pouco espaço nos traces, não convém esperar um efeito de dez vezes.

Para a Apple, o interesse é compreensível: passos de agente baratos importam onde há pouco poder de computação. Essa é uma suposição minha, sem confirmação no texto. Por ora, o que temos é a alegação de um resultado forte sem provas visíveis. Só será possível avaliar o quão séria ela é depois de ler o trabalho em si, principalmente as tabelas de precisão nos benchmarks de agentes.