Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

DeepMind encontrou dois erros de arredondamento no softmax: o gradiente zera antes da hora

O Google DeepMind identificou dois erros de arredondamento no softmax e na cross-entropy, funções em que quase toda rede neural aprende. Quando o modelo está quase 100% certo da resposta, o computador zera um gradiente minúsculo, a correção dos pesos, mesmo que ele seja diferente de zero no papel. O segundo erro aparece na destilação, quando um modelo pequeno copia um modelo grande. A solução é reordenar as operações na fórmula: a matemática continua a mesma, mas os números pequenos deixam de se perder.

Processado por IA de TG: @mishin_learning (Мишин Лернинг); editado por Hamidun News
DeepMind encontrou dois erros de arredondamento no softmax: o gradiente zera antes da hora
Fonte: TG: @mishin_learning (Мишин Лернинг). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @mishin_learning (Мишин Лернинг) ↗
Editor-chefe
Dado-chave #1Label smoothing e temperatura baixa suavizam o primeiro erro, mas não corrigem o cálculo
Dado-chave #2O segundo erro aparece mesmo quando o aluno replica o professor perfeitamente
Dado-chave #3Não são necessárias novas camadas nem novos hiperparâmetros: muda apenas a ordem das operações

Softmax e cross-entropy estão em quase todas as redes neurais, de classificadores de imagens a grandes modelos de linguagem. O softmax transforma as pontuações brutas do modelo em probabilidades, e a cross-entropy compara essas probabilidades com a resposta correta e calcula o erro. Essas duas funções são tão básicas e tão "resolvidas" que quase ninguém olha para elas com atenção. Pesquisadores do Google DeepMind olharam e encontraram dois erros numéricos: por causa deles, o treinamento pode não acontecer como deveria. O trabalho se chama "A Fix for Softmax and Cross-Entropy" e foi publicado no arXiv.

Uma ressalva importante: o erro não está na matemática. As fórmulas estão corretas. O problema está na forma como o computador as calcula. Números de ponto flutuante são armazenados com precisão limitada, e valores muito pequenos simplesmente se perdem.

Onde o gradiente desaparece

O gradiente é o sinal que indica em que direção e em quanto ajustar os pesos. O primeiro erro aparece quando o modelo fica confiante demais na resposta correta. Suponha que ele tenha 99,999999% de certeza de que a foto mostra um gato. No papel, ainda falta um pouquinho para a perfeição, e o gradiente continua minúsculo, mas diferente de zero. O computador, porém, arredonda esse valor para zero antes da hora: para ele, a confiança já é igual a um, e aparentemente não há o que aprender.

A melhor comparação é um caixa que descarta tudo o que for menor que um centavo. Uma compra sozinha não muda nada. Mas o treinamento envolve milhões de passos, e parte do sinal útil desaparece em cada um deles.

O segundo erro surge na destilação. É assim que se chama o treinamento em que um modelo pequeno, o aluno, reproduz as respostas de um modelo grande, o professor. Segundo os autores, o erro numérico aparece mesmo quando o aluno replica o professor perfeitamente. O objetivo já foi atingido, mas o cálculo continua distorcido.

Quão grave é o problema

Os próprios pesquisadores ressaltam que a situação não é tão grave quanto parece. Técnicas conhecidas já protegem parcialmente contra o primeiro problema. O label smoothing impede que a resposta correta tenha 100% de certeza. A temperatura baixa também evita que o modelo fique excessivamente confiante. Nesses casos, o gradiente não chega à faixa em que o arredondamento o zera.

Mas essas técnicas tratam a consequência, não a causa. Elas não corrigem o erro de cálculo. Além disso, alteram o objetivo do treinamento. O label smoothing deixa o modelo deliberadamente menos categórico, o que pode atrapalhar onde a calibração honesta das probabilidades é importante.

O que os autores propõem

A solução foi simples: reescrever a fórmula, ou seja, mudar a ordem das operações. O resultado matemático continua o mesmo, mas o computador deixa de perder números pequenos. Não são necessárias novas camadas, outra arquitetura nem hiperparâmetros adicionais. É um ajuste na implementação da própria função.

Para desenvolvedores, isso traz duas conclusões práticas:

  • Se você escreve um kernel próprio para softmax ou cross-entropy, por exemplo em CUDA ou Triton, ou treina modelos em baixa precisão, verifique como ele calcula probabilidades pequenas.
  • Se você usa label smoothing ou temperatura "por costume", lembre-se de que elas podem mascarar o problema numérico, sem eliminá-lo.

O que ainda não sabemos

O resumo da pesquisa não traz números. Não está claro quanto a correção melhora a qualidade dos modelos, em quais tarefas o efeito é perceptível e como ele se manifesta em grandes modelos de linguagem. É possível que frameworks populares já levem em conta parte dessas sutilezas. Para avaliar o ganho real, é preciso ler o artigo completo e analisar os experimentos.

Ainda assim, o fato em si é revelador. Mesmo nos blocos mais básicos da IA há pontos em que a aritmética imprecisa afeta silenciosamente o treinamento. A correção é barata e potencialmente atinge todos que treinam redes neurais. Quem trabalha com treinamento e kernels próprios deveria, no mínimo, dar uma olhada nesse trabalho.

História

Perguntas frequentes sobre a notícia

Onde o gradiente desaparece?

O gradiente é o sinal que indica em que direção e em quanto ajustar os pesos. O primeiro erro aparece quando o modelo fica confiante demais na resposta correta. Suponha que ele tenha 99,999999% de certeza de que a foto mostra um gato. No papel, ainda falta um pouquinho para a perfeição, e o gradiente continua minúsculo, mas diferente de zero. O computador, porém, arredonda esse valor para zero antes da hora: para ele, a confiança já é igual a um, e aparentemente não há o que aprender.

O que se sabe sobre Quão grave é o problema?

Os próprios pesquisadores ressaltam que a situação não é tão grave quanto parece. Técnicas conhecidas já protegem parcialmente contra o primeiro problema. O label smoothing impede que a resposta correta tenha 100% de certeza. A temperatura baixa também evita que o modelo fique excessivamente confiante. Nesses casos, o gradiente não chega à faixa em que o arredondamento o zera. Mas essas técnicas tratam a consequência, não a causa. Elas não corrigem o erro de cálculo. Além disso, alteram o objetivo do treinamento.

O que os autores propõem?

A solução foi simples: reescrever a fórmula, ou seja, mudar a ordem das operações. O resultado matemático continua o mesmo, mas o computador deixa de perder números pequenos. Não são necessárias novas camadas, outra arquitetura nem hiperparâmetros adicionais. É um ajuste na implementação da própria função.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…