Transformer
Um Transformer é uma arquitetura de rede neural centrada em self-attention, que permite que cada posição em uma sequência atenda diretamente a cada outra posição simultaneamente, habilitando treinamento totalmente paralelo e modelagem efetiva de dependências de longo alcance em linguagem, imagens e outras sequências.
A arquitetura Transformer foi introduzida por Vaswani et al. no Google Brain no artigo de 2017 'Attention Is All You Need' (Atenção é Tudo o que Você Precisa). Sua inovação central é multi-head self-attention: para cada token em uma sequência de entrada, o modelo calcula uma soma ponderada de representações de todos os outros tokens, onde os pesos (scores de atenção) refletem relevância aprendida entre pares de tokens. Executar múltiplas cabeças de atenção em paralelo permite que o modelo capture diferentes tipos de relacionamentos simultaneamente. Como a atenção é calculada sobre toda a sequência de uma vez em vez de passo a passo, o Transformer é totalmente paralelizável através do comprimento da sequência, em contraste com redes recorrentes (RNNs, LSTMs) que devem processar tokens sequencialmente.
Um codificador ou decodificador Transformer padrão consiste em camadas idênticas empilhadas, cada uma contendo uma sublayer de multi-head self-attention, uma rede feed-forward posição-sábia, conexões residuais (skip) em torno de cada sublayer, e normalização de camada. Como self-attention é inerentemente agnóstica a posição, codificações posicionais (sinusoidais fixas ou embeddings aprendidos) são adicionadas às representações de tokens para injetar ordem de sequência. Os principais hiperparâmetros de arquitetura — número de camadas, dimensão oculta, número de cabeças de atenção, e largura feed-forward — juntamente com volume de dados de treinamento e orçamento de computação, largamente determinam a capacidade do modelo.
Transformers tornaram-se dominantes em PLN com BERT (Google, 2018) e GPT-2 (OpenAI, 2019), depois demonstraram transferência forte para visão computacional com o Vision Transformer (ViT, Google, 2020), e para biologia estrutural com o uso de atenção do AlphaFold2 sobre sequências de aminoácidos e representações de pares (DeepMind, 2020). A partir de 2026, cada grande modelo de linguagem — GPT-4, Claude 3, Gemini 1.5, Llama 3, Mistral — é uma variante Transformer, como são codificadores de visão líderes e modelos multimodais combinando texto, imagens, áudio, e vídeo.
A principal limitação prática de self-attention Transformer padrão é custo computacional e memória quadrático com respeito ao comprimento de sequência, tornando contextos muito longos caros. Por 2026, múltiplas técnicas tratam isto: padrões de atenção esparsa, aproximações de atenção linear, atenção de janela deslizante (Mistral), e atenção exata otimizada para hardware (FlashAttention). Janelas de contexto excedendo um milhão de tokens são suportadas por vários modelos de produção. Pesquisa em sucessores arquiteturais — modelos de espaço de estado como Mamba, e arquiteturas híbridas de atenção/SSM — visam combinar a qualidade de modelagem de Transformers com scaling sub-quadrático.