Engenheiro termomecânico monta enxame de seis LLMs pequenas: dividir a tarefa em seções multiplicou por 4 o desempenho do modelo fraco

Chefe de departamento de uma organização de projetos, engenheiro termomecânico com 14 anos de atuação na área, decidiu na primavera criar, a partir de modelos locais fracos, um enxame que fosse mais inteligente do que o mais forte entre eles. Ele nunca foi programador, nem por um dia, e trabalha com redes neurais há menos de um ano. O enxame não ficou mais inteligente. Em compensação, a medição mostrou que, de toda a estrutura organizacional de um instituto de projetos, só a divisão da tarefa em seções sustenta a carga. Para o modelo fraco, ela rendeu um ganho de cerca de quatro vezes. O enxame como um todo, a julgar pelo título do autor, acrescentou cerca de cinco pontos.

Um aviso: a fonte disponibiliza apenas o anúncio da publicação no Habr, sem tabelas nem metodologia. Abaixo, analisamos o que o anúncio afirma, e vale conferir os números e suas unidades no texto completo.

Um instituto no lugar de um bando

A ideia é familiar para quem já trabalhou numa organização de projetos. Uma tarefa não é resolvida por uma pessoa só. Há um gerente de projeto, departamentos por seção, revisores e etapas de aprovação. O autor distribuiu seis modelos pequenos segundo esse esquema e observou quais elementos geram resultado e quais só acrescentam troca de mensagens entre os agentes.

A hipótese era típica dos experimentos multiagente: se você reúne muitos executores fracos e coloca um circuito de controle acima deles, a qualidade somada supera a do melhor participante. Essa hipótese não se confirmou. O enxame não superou o modelo mais forte do seu próprio grupo.

O que a medição mostrou

Aqui, o resultado negativo é mais útil do que um positivo. O autor não se limitou a relatar que o enxame não decolou: ele isolou um mecanismo que funciona. Principais pontos do anúncio:

• Composição: seis modelos locais pequenos, de força variada.
• Objetivo: obter um enxame que supere o modelo mais forte do conjunto. Não foi alcançado.
• Divisão da tarefa em seções: ganho de cerca de ×4 para o modelo fraco.
• Enxame como um todo: cerca de cinco pontos, segundo o título. O anúncio não revela as unidades de medida.
• Assimetria: o modelo fraco ganha mais com a divisão do que o forte.

Uma explicação plausível, e esta é interpretação nossa, não citação do autor: um modelo pequeno tem dificuldade em manter em andamento um enunciado longo com vários requisitos ao mesmo tempo. Quando recebe uma seção estreita, com entrada e saída bem definidas, ele resolve uma tarefa na qual antes se perdia. O modelo forte tem mais margem de contexto e de raciocínio, então a fragmentação lhe rende menos. O papel institucional do "revisor" e as demais camadas de aprovação, ao que tudo indica, não trouxeram ganho ou trouxeram muito menos.

O que fazer com isso na prática

Para quem monta pipelines locais com modelos pequenos, a conclusão é pé no chão. Antes de erguer uma hierarquia de gerente, executores e revisores, vale testar uma coisa: o que rende a simples divisão da tarefa em partes independentes, com modelos rígidos de entrada e saída. Isso custa menos em tokens e latência do que uma orquestração em várias camadas e, a julgar pelas medições do autor, é justamente o que traz o principal efeito.

Segundo ponto. A linha de base deve ser o modelo mais forte disponível, não o modelo médio do enxame. Um enxame que não supera o melhor participante, na prática, paga por chamadas extras sem retorno.

Terceiro ponto: o próprio formato. É raro ver um experimento conduzido por alguém de outro setor, com um olhar de engenheiro sobre a organização do trabalho. Os institutos de projetos passaram séculos buscando maneiras de dividir responsabilidades sem perder qualidade. O que dessa experiência se transfere para LLMs, e o que não se transfere, é melhor conferir no texto completo do autor: ali devem estar a metodologia, o conjunto de tarefas e o detalhamento por modelo.