MapFlow, da Universidade de Pequim, permite que modelos reutilizem a atenção uns dos outros

Agentes multimodelo tornaram-se uma arquitetura comum. O modelo A planeja, o modelo B detalha e fecha com o resultado. Perguntas complexas vão para o modelo forte; as simples ficam com o leve e barato. A ideia é clara: qualidade onde é preciso, economia onde é possível. Mas esse esquema tem um item de custo oculto, de que raramente se fala em apresentações.

Onde o dinheiro se perde

Imagine um cenário típico. Um modelo grande acabou de processar um documento longo: um contrato, uma base de código ou um despejo de logs. Ele construiu uma representação interna do texto e a mantém no cache KV. Então entra em cena um modelo pequeno, que precisa responder a uma pergunta de acompanhamento ou montar o relatório final. O cache do modelo grande não serve para ele: outra arquitetura tem outras dimensões, camadas e cabeças de atenção. Por isso o modelo pequeno processa o mesmo documento do zero, gastando tempo e dinheiro com prefill.

Em consultas curtas isso passa despercebido. Com contexto longo, várias transferências numa mesma tarefa e um grande fluxo de usuários, o prefill repetido vira uma fatia considerável da latência e da conta de GPU. Na prática, paga-se várias vezes por uma única leitura, uma para cada modelo da cadeia.

O que o MapFlow propõe

Uma equipe da Universidade de Pequim apresentou o MapFlow. A julgar pelo título e pelo início da descrição, a ideia é não recalcular tudo, mas reutilizar a atenção entre modelos. Em vez de recalcular no lado do modelo receptor, os resultados já prontos do modelo anterior são mapeados para o espaço dele.

Por analogia: um colega escreveu um resumo detalhado de um documento longo e, em vez de reler o original, você traduz as anotações dele para a sua linguagem e trabalha com elas. O nome parece refletir o mesmo: «map» é o mapeamento e «flow», o fluxo de informação de um modelo para outro.

Uma ressalva importante. No trecho a que temos acesso não há o mecanismo concreto de mapeamento, nem números de aceleração e perda de qualidade, nem a lista de pares de modelos compatíveis. Esses detalhes decidem tudo, então é cedo para avaliar a utilidade prática do método. Por ora, dá para dizer que a direção é certa e o problema, real.

Por que isso importa na prática

O custo dos sistemas agênticos é determinado não por uma única chamada ao modelo, mas pelo número de repetições do contexto entre chamadas. Hoje, a economia parcial vem do cache de prefixo dentro de um mesmo modelo e de famílias de modelos com tokenizador comum. A transferência de atenção entre modelos cobriria o caso em que modelos diferentes estão encadeados, por exemplo um grande para planejar e um pequeno para executar.

Se o método funcionar em condições reais, três grupos se beneficiam:

• equipes com agentes sobre documentos e repositórios longos, onde o contexto é lido muitas vezes;
• serviços com roteamento «modelo forte — modelo fraco», em que a transferência ocorre a cada requisição;
• provedores de inferência, para quem o prefill é caro.

Limitações e o que fazer agora

As principais perguntas para qualquer método assim são conhecidas de antemão. Quanta qualidade se perde no mapeamento entre arquiteturas diferentes? É preciso ajustar um adaptador para cada par de modelos? A abordagem é compatível com mecanismos de inferência populares, como vLLM e SGLang? E o que acontece com a memória se for preciso manter o cache de um modelo enquanto outro trabalha? Sem respostas, ninguém leva isso para produção.

A conclusão prática para o desenvolvedor é simples e não exige esperar pelo artigo completo. Meça quantos tokens o seu agente refaz no prefill na passagem entre modelos e que fatia da latência e do custo isso representa. Se a fatia for notável, acompanhe o MapFlow e trabalhos semelhantes. Se os seus contextos são curtos, o problema ainda não afeta você e não há o que otimizar.

Até surgirem detalhes e resultados reproduzíveis, trate o MapFlow como um sinal: o mercado esbarra no custo de reler, e os pesquisadores começam a buscar soluções no próprio nível da atenção, e não apenas no de proxies de cache e prompts.