A matemática das RNNs: por que perguntas "de criança" deixam engenheiros sem resposta

Estamos acostumados a tratar as redes neurais como uma caixa-preta que simplesmente funciona quando recebe dados e poder computacional suficientes. Mas basta cavar um pouco abaixo do nível de bibliotecas como PyTorch ou TensorFlow para descobrir que a base da IA moderna se apoia em coisas que muitas vezes aceitamos por fé. As redes neurais recorrentes (RNNs) hoje parecem uma relíquia diante do domínio dos transformers, mas é justamente na estrutura delas que estão os princípios matemáticos sem os quais é impossível entender a evolução do deep learning.

Foram as RNNs que, um dia, ensinaram as máquinas a lidar com sequências, e entender o que acontece "debaixo do capô" delas não é só um exercício acadêmico: é uma forma de entender por que os modelos atuais ficaram do jeito que são.

Toda RNN se baseia na ideia de transmitir um estado do passado para o futuro. Matematicamente, isso parece elegante até você começar a calcular as derivadas. A maioria dos livros entrega as fórmulas prontas, mas raramente explica como, exatamente, se deriva um vetor em relação a uma matriz.

Para muitos engenheiros, esse é o momento da verdade: as regras familiares do cálculo da escola funcionam de outro jeito aqui e viram operações pesadas com jacobianos. Muitas vezes temos medo de fazer perguntas "de criança", como por que, no backpropagation, os gradientes são somados, e não multiplicados, em determinados nós do grafo. As respostas estão na própria natureza da regra da cadeia e na forma como a informação flui pelas camadas de neurônios.

O surgimento das RNNs está ligado às tentativas de imitar a memória humana. Na prática, porém, os pesquisadores logo esbarraram no problema dos gradientes que desaparecem e explodem. Isso não é apenas um bug técnico: é consequência direta da estrutura matemática da recursão. Quando você multiplica uma matriz por ela mesma dezenas ou centenas de vezes durante o backpropagation through time (BPTT), qualquer desvio dos autovalores em relação a 1 leva o sinal a zerar ou a crescer sem limite. Foi esse beco sem saída matemático que levou a indústria a buscar alternativas: primeiro vieram as LSTMs e GRUs, com seu complexo sistema de "gates", e depois os mecanismos de atenção, que se tornaram a base da arquitetura GPT.

Destrinchar uma RNN simples, como a que Andrej Karpathy popularizou, revela uma ironia da indústria: construímos sistemas colossais sobre princípios cujos detalhes de implementação ainda geram debate. A questão de como inicializar os pesos para evitar que o treinamento colapse logo nos primeiros segundos, por exemplo, continua sendo mais arte do que ciência rigorosa. Usamos heurísticas que funcionam, mas nem sempre conseguimos explicar o "porquê" a partir de primeiros princípios. É como a curiosidade de uma criança que desmonta um brinquedo para ver o que tem dentro e encontra peças cuja função nem os adultos entendem.

Analisar esses fundamentos muda a forma como enxergamos o atual boom das redes neurais. Quando se percebe como era difícil fazer uma RNN lembrar de uma dezena de palavras numa frase, passa-se a valorizar de verdade a engenhosidade por trás das janelas de contexto atuais, de milhões de tokens. Os velhos problemas, porém, não sumiram: apenas mudaram de forma. Eficiência computacional e estabilidade dos gradientes continuam sendo questões relevantes até para clusters gigantes de H100. Voltar às origens e encarar as perguntas "de criança" sobre derivação e propagação do erro ajuda a deixar de lado a arrogância de desenvolvedor sênior e a enxergar no código não só uma chamada a .backward(), mas uma dança de números complexa e frágil.

O principal: entender a fundo a matemática das RNNs mostra que não há mágica na IA — há apenas longas cadeias de derivadas que às vezes se comportam de forma imprevisível por causa do nosso apego às simplificações.