Quanta Magazine analisa por que a atenção virou o núcleo dos LLMs após o artigo de 2017

Oito autores, um artigo de 2017 e uma fórmula de uma linha: softmax(QK^T/√d)V. Essa operação está na base da maioria dos grandes modelos de linguagem. A coluna da Quanta Magazine de 12 de outubro de 2026 levanta a questão: por que a atenção se mostrou a chave para processar linguagem em escala, e será que ela pode ser considerada a essência da inteligência?

A chamada da coluna não traz resposta, apenas a formulação da pergunta. Por isso, abaixo está o contexto técnico em que esse debate acontece. As conclusões do autor estão no original.

De onde veio a fórmula

A ideia de atenção é mais antiga que o transformer. Em 2014, Bahdanau, Cho e Bengio aplicaram um mecanismo parecido em um modelo recorrente de tradução automática: ao gerar cada palavra, o decodificador podia "olhar" para diferentes partes da frase de origem. A rede recorrente continuava sendo a base, e a atenção funcionava como um complemento.

Em 2017, os autores de Attention Is All You Need, do Google, eliminaram a recorrência por completo. Sobraram camadas em que cada token cria uma consulta (query), a compara com as chaves (keys) de todos os outros tokens e obtém a soma ponderada dos valores (values) deles. Na tarefa de tradução WMT 2014, a versão grande do modelo atingiu 28,4 BLEU no par inglês–alemão e 41,8 no par inglês–francês.

Por que a atenção escala

A principal vantagem é que a sequência inteira é processada em paralelo. Uma rede recorrente lê o texto passo a passo, e as GPUs ficam ociosas nesse meio-tempo. A atenção se resume a grandes multiplicações de matrizes, para as quais os aceleradores modernos foram projetados. Mais dados, mais parâmetros, mais chips: esse esquema entregou ganhos de qualidade de forma previsível.

O segundo motivo é a flexibilidade. Os pesos de atenção são calculados a partir da própria entrada, então a ligação entre uma palavra no início de um parágrafo e outra no fim não se dissipa pelo caminho, como acontecia nas arquiteturas recorrentes antigas.

Principais números do trabalho original:

• 8 autores, conferência NeurIPS 2017;
• modelo base: cerca de 65 milhões de parâmetros, treinamento de aproximadamente 12 horas em 8 GPUs NVIDIA P100;
• modelo grande: cerca de 213 milhões de parâmetros, 3,5 dias nas mesmas 8 GPUs;
• resultado: 28,4 BLEU (EN→DE) e 41,8 BLEU (EN→FR);
• para comparação, o GPT-3 tinha em 2020 175 bilhões de parâmetros e contexto de 2048 tokens.

O preço da universalidade

A atenção tem um ponto fraco: cada token é comparado com todos os outros. O tempo e a memória crescem proporcionalmente ao quadrado do tamanho do contexto. Dobrar o contexto significa quadruplicar o custo computacional nesse trecho.

A indústria responde com engenharia. O FlashAttention (2022) não muda a matemática: ele reorganiza o uso da memória da GPU e entrega o resultado exato, só que mais rápido. Em paralelo, evoluem a atenção esparsa e a linear, além de híbridos com modelos de espaço de estados. Essas abordagens economizam computação, mas muitas vezes perdem em qualidade para a atenção clássica em tarefas difíceis.

Como ler esse debate na prática

A afirmação "a atenção é a essência da inteligência" vale ser dividida em duas. A primeira é verificável: a atenção se revelou um primitivo computacional excepcionalmente bem-sucedido para treinar modelos com textos. A segunda é filosófica: o que isso implica para a compreensão da mente continua sendo objeto de discussão, e a Quanta a leva para o título.

Para engenheiros, a conclusão é pé no chão. Ao escolher uma arquitetura ou avaliar infraestrutura, conte não só os parâmetros, mas também o tamanho do contexto: a parte quadrática determina o custo de requisições longas, de pipelines de RAG e de agentes com muita memória. Quem acompanha pesquisas deve olhar os trabalhos que comparam alternativas à atenção com o transformer sob o mesmo orçamento computacional. Por enquanto, o transformer continua sendo o ponto de referência.