Lyubomir Gorbatko apresenta Sessa, alternativa aos transformers e ao Mamba

O Habr publicou uma análise da arquitetura Sessa, uma tentativa de repensar os modelos decoder-only e propor uma alternativa à combinação habitual de Transformer e Mamba. O autor não promete um substituto pronto para os líderes do mercado. Ele mostra algo mais básico: diferentes decodificadores podem ser descritos a partir de uma base comum e comparados com honestidade quanto à forma como armazenam e recuperam informação de um contexto longo.

O artigo vai do simples ao complexo. Primeiro, o autor deriva o Transformer de novo, não como um conjunto de blocos conhecidos, mas como uma evolução da convolução comum. A ideia é que uma janela fixa e coeficientes fixos logo chegam ao limite: esse misturador enxerga só o contexto local e se adapta mal à tarefa. Se os pesos dependem da entrada e depois são normalizados por softmax, a atenção surge de forma natural. Nessa interpretação, a força do transformer é a comparação flexível do token atual com os anteriores, mas o custo é conhecido: o cálculo encarece conforme a sequência cresce e, no regime difuso, a atenção retém pior um elemento distante específico.

Em seguida, o artigo passa para S4D e Mamba. Aqui o autor trata o problema como uma questão de memória: em vez de reler todo o prefixo a cada vez, o modelo pode acumular o passado em um estado interno. Essa abordagem elimina parte dos problemas da atenção e barateia o trabalho com sequências longas. Mas ela tem seu próprio limite. Na exposição do autor, o Mamba funciona bem quando o mecanismo selective state space consegue "congelar" o estado na hora certa e manter o sinal necessário. Se esse regime é mal reconhecido, sobretudo em sequências ruidosas ou muito longas, a influência de tokens antigos decai exponencialmente, e a recuperação pontual da informação necessária fica menos confiável.

Nesse cenário, a Sessa é apresentada como uma variante híbrida. O autor propõe combinar duas ideias: manter a adaptabilidade típica da atenção e, ao mesmo tempo, adicionar feedback, isto é, retroalimentação controlável por meio de estados passados. Dentro da camada há dois ramos: forward, que reúne informação do prefixo, e feedback, que reutiliza os estados já acumulados.

O ponto central é que os coeficientes dos dois ramos dependem do token atual e do comprimento da sequência. Assim, o modelo ganha um mecanismo de memória mais flexível que o do Transformer clássico e um acesso mais direto ao histórico que o do Mamba. Na prática, é uma tentativa de embutir a atenção num circuito recorrente, em vez de manter as duas abordagens em lados opostos.

O principal foco do artigo não é o slogan "vencemos os transformers", mas a comparação de regimes de memória. O autor examina um cenário controlado em que os modelos têm dificuldade de focar com precisão em um único token necessário. Nesse regime, a influência de tokens distantes decai aproximadamente como o inverso da distância no Transformer, exponencialmente no Mamba e mais devagar na Sessa, cuja cauda se atenua de forma mais gradual. Em teoria, isso dá uma recuperação mais estável a longa distância. Numa configuração multicamada, a Sessa pode até, segundo o autor, sustentar perfis de retrieval sem degradação com a distância.

Junto com o post no Habr, foram publicados um trabalho no arXiv e o código, e o próprio estudo declara experimentos comparáveis com contexto longo. Ainda assim, o autor mostra com clareza o limite atual do resultado: por ora, trata-se principalmente de teoria e hipótese arquitetural, e o próximo passo importante é treinar em escala de vários bilhões de parâmetros e testar fora de regimes cuidadosamente controlados.

Em resumo, o material é interessante não só pela Sessa, mas pela forma de explicar. Ele reduz Transformer, Mamba e a nova arquitetura a um esquema comum e mostra onde exatamente suas propriedades de memória divergem. Para quem acompanha a corrida dos modelos de contexto longo, é um sinal importante: uma alternativa relevante aos transformers pode surgir não do abandono total da atenção, mas da sua combinação com uma memória recorrente mais expressiva.