DeepMind e a "mineração" de funções de ativação: por que a ReLU já pode se aposentar

Durante décadas, vivemos num mundo em que a função de ativação ReLU era um padrão inabalável. Ela é simples como um tijolo e eficiente na medida exata para não atrapalhar o aprendizado das redes neurais. Mas sejamos honestos: a ReLU (Rectified Linear Unit) não ficou popular por ser perfeita, e sim porque, em 2012, não tínhamos recursos para testar algo mais complexo.

Agora a DeepMind decidiu que era hora de parar de adivinhar e transformou a busca por fórmulas matemáticas em uma verdadeira mineração industrial. A equipe de pesquisadores construiu o que chama de "garimpo computacional". A ideia é simples e, ao mesmo tempo, insana: se não sabemos qual função matemática funciona melhor para deep learning, basta testar todas.

É o clássico método de força bruta levado ao extremo. Em vez de obrigar matemáticos a passar anos derivando provas elegantes, a DeepMind jogou milhares de GPUs na linha de frente para "escavar" o algoritmo ideal. Por que isso está acontecendo justamente agora?

O mercado de LLMs bateu no teto de eficiência. Aumentamos sem parar o número de parâmetros, mas os blocos básicos dos modelos quase não mudam. A DeepMind percebeu que mesmo um ganho minúsculo de eficiência no nível da função de ativação, na escala do GPT-4 ou do Gemini, economiza milhões de dólares em energia e semanas de treinamento.

Não se trata de mero interesse acadêmico: é pura economia. Durante essa "mineração", o sistema testou milhões de combinações de operadores matemáticos. Os pesquisadores buscavam funções que não só mostrassem alta precisão no papel, mas também se dessem bem com o hardware atual.

Descobriu-se que muitas funções teoricamente fortes são complexas demais para rodar em GPU, o que as torna inúteis em produção. A DeepMind, por sua vez, buscou o meio-termo: leveza computacional e flexibilidade matemática. Os resultados impressionam.

As funções encontradas superam não só a velha e boa ReLU, mas também alternativas mais modernas, como Swish e GeLU. O mais interessante aqui é a mudança de paradigma. Estamos saindo da era das "pessoas inteligentes que inventam algoritmos" para a era dos "sistemas inteligentes que cultivam algoritmos".

Esse é o verdadeiro AutoML com que se sonhou nos últimos cinco anos, só que agora ele chegou à própria base das conexões neurais. O que isso significa para a indústria? É provável que, na próxima geração de grandes modelos de linguagem, vejamos arquiteturas que vão nos parecer estranhas.

Elas usarão funções que nenhum ser humano em sã consciência jamais derivaria num quadro, porque não parecem "bonitas" do ponto de vista do cálculo clássico. Mas vão funcionar. E mais rápido do que qualquer coisa que já vimos.

O ponto principal: a DeepMind mostrou claramente que a "corrida do ouro" em AI está migrando dos datasets gigantescos para a reinvenção da matemática básica. Se você achava que os fundamentos do deep learning já estavam cimentados, prepare-se: alguém acabou de começar a demoli-los com uma britadeira.