Modelos híbridos preveem melhor as palavras de conteúdo que os transformers, mostra estudo da Allen AI

A equipe da Allen AI (Ai2) descobriu em quais tokens os modelos de linguagem híbridos superam os transformers e onde essa vantagem some. Os autores compararam o OLMo 3 (um transformer) e o OLMo Hybrid em condições de treinamento idênticas, para isolar o efeito puramente arquitetural.

Transformer contra híbrido

A pergunta central do estudo: o que muda no comportamento do modelo quando parte das camadas de atenção é trocada por camadas recorrentes? Os dois modelos foram treinados com os mesmos dados: artigos, páginas da Wikipédia, livros, trabalhos científicos, código, HTML e LaTeX. A diferença na função de perda ao prever o próximo token (o "loss gap") não foi medida pela média, mas detalhada por categoria.

A diferença fundamental entre as arquiteturas:

• Transformer: acessa cada token anterior por meio do mecanismo de atenção. É preciso, mas caro em computação: o custo cresce com o tamanho do contexto.
• Híbrido: alterna camadas de atenção com camadas recorrentes. Estas guardam um "retrato" de tamanho fixo do histórico, com custo computacional constante, independentemente do comprimento da sequência.

O componente recorrente é forte quando importa acompanhar a mudança da informação. A atenção é insubstituível quando é preciso recuperar com exatidão um token específico do passado.

Onde o híbrido leva a melhor

Em todos os tipos de texto apareceu um padrão claro: o modelo híbrido prevê com mais precisão as palavras de conteúdo (substantivos, verbos e adjetivos). O loss gap a seu favor nesses tokens foi de cerca de 0,04, enquanto nas palavras funcionais (preposições, artigos, conjunções) a diferença é metade: 0,02. O transformer continua competitivo onde basta captar uma regularidade gramatical superficial.

Para entender a natureza da vantagem, os pesquisadores compararam ainda três arquiteturas em modelos de 1B parâmetros: um transformer, um híbrido e um modelo totalmente recorrente, sem camadas de atenção. Resultado nos tokens com significado e sem repetição lexical:

• Tanto o híbrido quanto o modelo puramente recorrente superaram o transformer.
• Dos dois, o híbrido ficou em primeiro.
• O modelo puramente recorrente, sem atenção, ficou atrás dos dois outros nos trechos repetidos.

Isso indica que as camadas recorrentes, por si sós, dão a vantagem nos tokens com significado, e que a presença de camadas de atenção cobre o ponto fraco do modelo recorrente: a cópia exata de texto.

Onde a vantagem desaparece

Pareamento de parênteses. O transformer e o híbrido preveem os parênteses ou colchetes de fechamento, em código ou texto matemático, com precisão quase igual. Basta olhar para trás por meio da atenção e achar o de abertura correspondente; o componente recorrente não traz ganho.

N-gramas repetidos. Quanto mais longo o trecho que o modelo reproduz literalmente de um texto já visto, menor a diferença a favor do híbrido. Em sequências longas, ela tende a zero. Os modelos puramente recorrentes perdem para as duas outras arquiteturas nessas repetições: "lembrar" com exatidão uma sequência específica é justamente para o que a atenção serve.

"O híbrido OLMo é mais forte nos tokens que carregam significado:

substantivos, verbos e adjetivos", afirmam os autores, acrescentando que essa vantagem diminui na reprodução de texto repetido.

O que isso significa

Uma métrica agregada (a função de perda total) esconde as diferenças arquiteturais: só a filtragem por categoria de token mostra onde exatamente uma abordagem supera a outra. A equipe da Allen AI pretende incorporar essas descobertas ao desenvolvimento futuro de arquiteturas híbridas, otimizando componentes específicos em vez de números médios.