PhD de Stanford deriva o Transformer do zero a partir de um único problema de memória

Em 15 de outubro, um PhD em ciência da computação de Stanford publicou um post de blog com uma provocação: se o artigo "Attention Is All You Need" não existisse, você conseguiria derivar o Transformer passo a passo a partir de uma única pergunta — como fazer uma máquina memorizar o máximo possível e recuperar qualquer item sob demanda? Nove anos depois da publicação do original, o texto se espalhou pela mídia de tecnologia chinesa, incluindo o Jiqizhixin. No trecho disponível da fonte, o nome do autor e os detalhes da derivação estão cortados. Por isso, a análise abaixo cobre o que se sabe sobre a formulação do problema e sobre a história do tema.

Um problema no lugar de uma arquitetura

O Transformer costuma ser explicado de cima para baixo: aqui está o bloco de atenção, aqui a camada feed-forward, aqui as codificações posicionais. O post de blog segue o caminho inverso, de baixo para cima. A formulação original não contém a palavra "atenção": há apenas memória e o requisito de acesso arbitrário. Se é preciso armazenar muita informação e acessar qualquer trecho, uma rede recorrente com um único estado oculto rapidamente esbarra em um gargalo. Todo acesso precisa passar por um estado comprimido, e o gradiente atravessa dezenas de passos.

A partir daí, a lógica se constrói quase sozinha. São necessárias chaves, pelas quais os itens são encontrados, e valores, que são devolvidos. É preciso uma seleção suave em vez de rígida, para que o treinamento possa ser feito por gradiente. É preciso fazer várias "consultas" independentes à memória ao mesmo tempo, e é daí que vem a multi-head. A ordem dos elementos precisa ser introduzida de forma explícita, já que a recorrência deixou de existir. Não é possível confirmar, pelo trecho disponível, quais são os passos concretos da derivação no blog, mas esse é o caminho que a formulação do problema sugere.

Que pistas já estavam na literatura

A tese de que "as chaves estavam sobre a mesa" pode ser verificada pelas datas. Bem antes de 2017, as publicações já continham todas as peças necessárias:

• 2014, Bahdanau e coautores: atenção aditiva em tradução seq2seq, em que o decodificador olha para todos os estados do codificador.
• 2014, Graves e coautores, Neural Turing Machines: memória externa com endereçamento por conteúdo, totalmente diferenciável.
• 2014–2015, Memory Networks e End-to-End Memory Networks: acesso suave à memória em vários "saltos".
• 2015, Luong e coautores: atenção multiplicativa (dot-product) simplificada.
• 2015–2016: conexões residuais (ResNet) e layer normalization, sem as quais uma pilha profunda não treina de forma estável.

O artigo original de 2017 reuniu esses elementos e eliminou a recorrência por completo. Os oito autores apresentaram 28,4 BLEU no WMT 2014 English-German e 41,8 BLEU no English-French. O modelo grande foi treinado por cerca de 3,5 dias em oito GPUs P100, o que, para os padrões dos clusters atuais, é quase nada.

Por que textos assim se espalham

O formato "será que você conseguiria?" tem um valor claro. Ele transforma a arquitetura, que deixa de ser um artefato a ser decorado, em uma cadeia de decisões de engenharia, cada uma respondendo a uma limitação concreta. Isso é mais útil do que recontar o diagrama do artigo: entender as razões ajuda quando é preciso modificar o modelo, e não apenas executar uma versão pronta. Daí o interesse: o Transformer continua sendo a base de quase todos os grandes modelos de linguagem, e as discussões sobre substitutos (state space models, atenção linear, híbridos) exigem entender qual problema a atenção original resolvia.

Como usar isso na prática

Se você trabalha com LLMs ou pretende começar, use a formulação do blog como exercício. Primeiro, escreva no papel o que a memória deve fazer: armazenar pares, buscar por similaridade, devolver uma mistura ponderada. Depois, implemente atenção de uma cabeça em cerca de 30–50 linhas de PyTorch ou NumPy e verifique se ela funciona em uma tarefa simples de cópia ou de busca. Em seguida, adicione a escala pela raiz da dimensão da chave, a ordem por meio de codificações posicionais e várias cabeças. A cada etapa, remova um componente e observe o que quebra.

Para equipes que avaliam alternativas ao Transformer, vale fazer o mesmo com o candidato: qual das subtarefas (endereçamento, paralelismo no treinamento, custo do contexto) ele resolve melhor e o que ele cede em troca. O post do blog merece ser lido no original: na fonte, apenas o trecho introdutório está disponível.