DAGFormer planeja as conexões entre camadas e reduz a perplexidade em 17–25%

Pesquisadores apresentaram o DAGFormer, um modelo de linguagem baseado em transformer em que as conexões extras entre camadas são planejadas por um preditor de topologia, treinado junto com a rede principal. Em pares OLMo-2 de 75M a 1B de parâmetros, a perplexidade no WikiText-2 cai 17–25% em comparação com o transformer vanilla. A versão de 1B parâmetros, treinada com 5 bilhões de tokens, supera a vanilla treinada com 10 bilhões. O trabalho foi publicado no Hugging Face Daily Papers.

Como funciona o roteamento

No transformer convencional, as camadas são ligadas por conexões residuais: cada bloco recebe a saída do anterior mais um "skip". O DAGFormer acrescenta a isso conexões diretas das camadas iniciais para as finais, e a rede passa a ser um grafo acíclico dirigido. A força de cada conexão não é fixa. O preditor de topologia a determina a partir dos tokens de entrada, de modo que o caminho pelas camadas pode variar de um texto para outro.

A principal diferença em relação às arquiteturas existentes com cross-layer routing está na escala do planejamento. As abordagens anteriores ajustam as conexões de cada camada isoladamente, sem uma visão geral. O DAGFormer planeja o roteamento do modelo inteiro em uma única passada, e os autores veem nisso a origem do ganho.

O que mostraram as medições

A comparação usou pares OLMo-2 equivalentes, com os mesmos dados e o mesmo orçamento. Os principais números do artigo:

• perplexidade no WikiText-2 17–25% menor em relação ao transformer vanilla (tamanhos de 75M a 1B);
• o DAGFormer de 1B com 5B tokens supera o modelo vanilla com 10B tokens;
• menor perplexidade entre quatro baselines de roteamento em 75M, 300M e 1B;
• em 13 tarefas (senso comum, ciências, leitura, matemática), a acurácia média é 2,0–2,5 pontos maior com 300M e 1B;
• após instruction finetuning, a taxa de vitória no AlpacaEval contra o modelo vanilla é de 63–70%, acima da de qualquer baseline de roteamento;
• na poda estrutural, o DAGFormer é o que menos degrada em cinco das seis configurações.

O resultado mais prático aqui é, talvez, a eficiência de dados: metade dos tokens com qualidade comparável ou melhor. A poda (pruning) também merece atenção, porque é justamente com ela que as equipes lidam ao comprimir modelos para produção. O ganho de acurácia em tarefas downstream é mais modesto que o da perplexidade: dois pontos em média são perceptíveis, mas não radicais. O AlpacaEval depende da avaliação de outro modelo atuando como juiz, então os 63–70% devem ser lidos como um sinal forte, e não como veredito definitivo.

O que verificar antes de adotar

A descrição deixa três pontos em aberto. O primeiro é o custo do próprio preditor: quantos parâmetros, quanta memória e quanta latência de inferência ele adiciona. O segundo é a escala: os experimentos terminaram em 1B, e a extrapolação do resultado para 7B ou mais continua sendo uma hipótese. A outra metade da questão é se a vantagem sobre as baselines se mantém quando entram em cena contextos longos e misturas de especialistas. O terceiro é se é possível incorporar essa topologia a checkpoints já treinados ou se a arquitetura precisa ser definida desde o zero. O texto não diz nada sobre isso.

Para equipes que treinam modelos pequenos do zero e esbarram em um orçamento limitado de tokens, o trabalho oferece uma ideia concreta para reproduzir: trocar as conexões fixas por conexões planejadas e comparar no próprio dataset. Para quem trabalha com pesos abertos já prontos, por enquanto basta acompanhar a publicação do código e as replicações independentes. Se o ganho se sustentar em 7B ou mais e o custo adicional for pequeno, a abordagem pode se tornar candidata de peso ao conjunto padrão de técnicas arquiteturais.