Como o produto escalar de um livro de álgebra se tornou o fundamento do ChatGPT, Claude e Gemini

Em 2017, um grupo de engenheiros do Google publicou o artigo "Attention is All You Need" — e ele silenciosamente dividiu a história da inteligência artificial em "antes" e "depois". Sem apresentações chamariscas ou robôs humanoides, oito pesquisadores descreveram uma arquitetura que hoje fundamenta ChatGPT, Claude, Gemini, Midjourney e praticamente todo o IA generativo moderno. O mais surpreendente — o fundamento dessa revolução acabou sendo uma das operações mais simples da álgebra linear: o produto escalar de dois vetores.

A Parede em Que as Redes Neurais Bateram

Antes dos transformers, redes recorrentes — RNNs e LSTMs — dominavam o processamento de texto. Elas liam frases sequencialmente: palavra por palavra, passo a passo. O problema era que ao final de um texto longo, o modelo "esquecia" o início — o sinal desaparecia conforme passava por centenas de etapas intermediárias. Isso era chamado de problema do gradiente desvanecente. Imagine: um modelo lê um romance e no quinto capítulo já não lembra o nome do protagonista. Exatamente essa foi a parede em que as redes neurais bateram em meados dos anos 2010. A arquitetura escalava mal, computação paralela era praticamente indisponível — cada próximo passo dependia do anterior. Era necessário algo fundamentalmente diferente.

Por Que o Produto Escalar é Genialmente Simples

Produto escalar é uma operação do curso padrão de álgebra vetorial. Você pega dois vetores, multiplica suas coordenadas aos pares e soma todos os resultados. A saída é um número: quanto maior ele for, mais "similar" ou "relacionado" os vetores são um ao outro. No mecanismo de auto-atenção de um transformer, essa operação é aplicada da seguinte forma:

• Cada palavra se transforma em três vetores: Query (consulta), Key (chave) e Value (valor)
• O produto escalar da Query de uma palavra com a Key de qualquer outra palavra mostra a "força de conexão" entre um par de palavras
• Os resultados são dimensionados e normalizados através de softmax — resultando em pesos de atenção de 0 a 1
• O vetor final de uma palavra é uma soma ponderada de todos os Values de acordo com esses pesos

Essencialmente, cada token simultaneamente faz a pergunta a todos os outros: "Qual é sua importância para meu entendimento agora?" — e recebe uma resposta numérica precisa. Isso acontece em paralelo para a sentença inteira, não sequencialmente palavra por palavra.

Três Propriedades Que Mudaram a Indústria

O produto escalar acabou sendo a operação ideal para linguagem por várias razões ao mesmo tempo.

Paralelismo. Todos os cálculos de atenção podem ser realizados simultaneamente — diferente de RNNs, onde cada passo depende do anterior. Isso desbloqueou GPUs e TPUs e permitiu escalar modelos para centenas de bilhões de parâmetros. Assim é como BERT, GPT-3, e depois GPT-4 e Claude apareceram ao longo de alguns anos.

Contexto global sem desvanecimento. Cada palavra imediatamente "vê" todas as outras — independentemente da distância no texto. O pronome "ele" no final de um parágrafo longo se vincula corretamente ao nome do personagem do início. Nenhum desvanecimento de sinal através de camadas intermediárias.

Interpretabilidade. Matrizes de atenção podem ser visualizadas — literalmente ver qual palavra presta atenção a quê ao processar uma sentença. Isso é raro no mundo das redes neurais, onde a maioria das decisões permanece uma caixa preta.

"Não precisamos de recorrência e convoluções em absoluto", escreveram os autores em 2017.

Para a comunidade na época, isso soava como heresia. Três anos depois virou axioma.

O Que Isso Significa

O transformer provou: uma revolução em IA pode vir não da neurobiologia e não da filosofia da consciência, mas de um livro de álgebra linear do segundo ano. ChatGPT, Claude, Gemini, Midjourney — todos eles em sua essência multiplicam matrizes de produtos escalares bilhões de vezes por segundo. A simplicidade da operação acabou sendo sua maior força: não a complicação, mas a escolha correta de uma ferramenta elementar mudou tudo.