BorisovAI testa MoE em uma RTX 4090 e mostra por que a perplexidade distorce a avaliação de LLMs

A BorisovAI publicou a análise de 22 experimentos com uma arquitetura MoE em que novos especialistas são conectados como plugins sobre um modelo de linguagem congelado. Em uma única RTX 4090, o esquema mostrou um quadro quase perfeito do ponto de vista da engenharia: degradação zero das habilidades antigas, roteamento preciso e queda notável da perplexidade. Mas, quando o sistema foi avaliado em um benchmark de matemática, ficou claro que uma métrica bonita pode apontar na direção errada.

Como o esquema foi montado

O pesquisador congelou todo o modelo base e adicionou a cada camada MLP um pequeno especialista treinável, com um roteador de cerca de 37 mil parâmetros por cima. A lógica é simples: o backbone não é tocado, a nova habilidade é treinada separadamente e, depois, só o roteador é ajustado para enviar os tokens certos ao especialista certo. Treinar um novo domínio levava cerca de meia hora: aproximadamente 15 minutos para o especialista isolado e mais 15 para integrá-lo ao sistema.

Em três escalas, o esquema pareceu muito convincente e quase sem concessões:

• GPT-2 124M com 4 domínios reduziu a perplexidade em 33,4%
• Pythia-410M com 6 domínios reduziu a perplexidade em 34,3%
• Pythia-1B com 8 domínios reduziu a perplexidade em 31,2%
• A precisão do roteamento chegou a 96%, e a degradação das habilidades antigas ficou em 0,000%

O autor também testou várias técnicas populares, frequentemente recomendadas para MoE. As penalidades de balanceamento de carga pioraram o resultado em 11–27%, e o treinamento conjunto de especialistas e roteador levou a um colapso de qualidade. O que melhor funcionou foi o balanceamento sem perda auxiliar: ele manteve todos os especialistas "vivos" sem uma função de perda adicional. Nessa etapa, tudo parecia um forte argumento a favor de LLMs modulares, em que novas capacidades podem ser conectadas sem retreinamento completo.

Onde a métrica quebrou

Os problemas começaram quando a arquitetura foi levada para o Qwen 2.5 3B e se tentou adicionar um especialista em matemática. Pelas métricas internas, tudo estava ótimo de novo: a perplexidade em textos matemáticos caiu 23,9%, a distância entre domínios aumentou 64,9 vezes e o roteador escolhia o especialista certo quase sem erros. Mas no GSM8K, que testa justamente a capacidade de resolver problemas escolares em texto, o modelo caiu de 74,4% para 65,8%.

"Um modelo que fala a linguagem da matemática não sabe resolver

problemas de jeito nenhum."

Essa é a conclusão central de todo o trabalho. O especialista, treinado com livros didáticos e artigos, de fato aprendeu a estatística da linguagem matemática: onde costumam aparecer as fórmulas, quais termos ficam próximos e como é um texto "correto" dessa área. Mas o GSM8K exige cadeias de raciocínio, não reconhecimento de estilo. Por isso, a queda da perplexidade não media uma melhora real do raciocínio, apenas uma melhor modelagem do texto do domínio. O pesquisador verificou separadamente as alternativas (descongelar as camadas superiores, treinamento conjunto e um esquema em duas fases), mas todas as variantes permaneceram em cerca de 8,4–8,6 pontos percentuais abaixo.

O que funcionou melhor

A virada veio com a autodestilação. Em vez de textos matemáticos brutos, o especialista passou a ser treinado com soluções passo a passo que o próprio modelo base já havia acertado. Para isso, foram usados 750 problemas do GSM8K: o modelo resolveu 638, e com essas soluções montou-se um dataset de 119 mil tokens. É 33 vezes menos que o corpus de 4 milhões de tokens de livros didáticos e artigos, mas o formato ficou muito mais próximo da inferência real.

O resultado contrariou as expectativas. Após esse treinamento, o GSM8K subiu para 75,5%: 1,1 ponto percentual acima do modelo base e 9,7 pontos melhor que a variante com texto matemático bruto. Já a perplexidade piorou 17,8%. Também se constatou que até o empacotamento dos dados importa: o formato "pergunta/resposta" rendeu mais 2–3 pontos que o formato mais acadêmico "problema/solução". Em outras palavras, vale mais treinar o especialista para a forma do uso futuro do que para um corpus abstratamente "de qualidade".

A tentativa de transformar essa abordagem em um ciclo de automelhoria não decolou. As primeiras execuções sugeriam alta de 75,5% para 76,0%, mas, após fixar a seed e ampliar a amostra, o efeito se mostrou ruído estatístico. Com partida a frio, o novo especialista logo chegava a um platô; com partida a quente, a qualidade chegava a cair, porque problemas demais se repetiam entre os ciclos e o especialista sofria overfitting. O label smoothing também fracassou: em matemática, tirou mais cerca de 9 pontos.

O que isso significa

Para quem desenvolve LLMs, há duas conclusões práticas. Primeiro, uma arquitetura modular com especialistas plugáveis de fato pode adicionar habilidades de domínio sem esquecimento catastrófico. Segundo, avaliar esses sistemas pela perplexidade é arriscado: ela pode melhorar justamente quando o modelo passa a raciocinar pior. Se a tarefa envolve lógica, código ou matemática, o critério principal deve ser benchmarks comportamentais, e não apenas métricas de linguagem bonitas.