DeepMind encontrou dois erros de arredondamento no softmax: o gradiente zera antes da hora
O Google DeepMind identificou dois erros de arredondamento no softmax e na cross-entropy, funções em que quase toda rede neural aprende. Quando o modelo está quase 100% certo da resposta, o computador zera um gradiente minúsculo, a correção dos pesos, mesmo que ele seja diferente de zero no papel. O segundo erro aparece na destilação, quando um modelo pequeno copia um modelo grande. A solução é reordenar as operações na fórmula: a matemática continua a mesma, mas os números pequenos deixam de se perder.
Processado por IA de TG: @mishin_learning (Мишин Лернинг); editado por Hamidun News
Softmax e cross-entropy estão em quase todas as redes neurais, de classificadores de imagens a grandes modelos de linguagem. O softmax transforma as pontuações brutas do modelo em probabilidades, e a cross-entropy compara essas probabilidades com a resposta correta e calcula o erro. Essas duas funções são tão básicas e tão "resolvidas" que quase ninguém olha para elas com atenção. Pesquisadores do Google DeepMind olharam e encontraram dois erros numéricos: por causa deles, o treinamento pode não acontecer como deveria. O trabalho se chama "A Fix for Softmax and Cross-Entropy" e foi publicado no arXiv.
Uma ressalva importante: o erro não está na matemática. As fórmulas estão corretas. O problema está na forma como o computador as calcula. Números de ponto flutuante são armazenados com precisão limitada, e valores muito pequenos simplesmente se perdem.
Onde o gradiente desaparece
O gradiente é o sinal que indica em que direção e em quanto ajustar os pesos. O primeiro erro aparece quando o modelo fica confiante demais na resposta correta. Suponha que ele tenha 99,999999% de certeza de que a foto mostra um gato. No papel, ainda falta um pouquinho para a perfeição, e o gradiente continua minúsculo, mas diferente de zero. O computador, porém, arredonda esse valor para zero antes da hora: para ele, a confiança já é igual a um, e aparentemente não há o que aprender.
A melhor comparação é um caixa que descarta tudo o que for menor que um centavo. Uma compra sozinha não muda nada. Mas o treinamento envolve milhões de passos, e parte do sinal útil desaparece em cada um deles.
O segundo erro surge na destilação. É assim que se chama o treinamento em que um modelo pequeno, o aluno, reproduz as respostas de um modelo grande, o professor. Segundo os autores, o erro numérico aparece mesmo quando o aluno replica o professor perfeitamente. O objetivo já foi atingido, mas o cálculo continua distorcido.
Quão grave é o problema
Os próprios pesquisadores ressaltam que a situação não é tão grave quanto parece. Técnicas conhecidas já protegem parcialmente contra o primeiro problema. O label smoothing impede que a resposta correta tenha 100% de certeza. A temperatura baixa também evita que o modelo fique excessivamente confiante. Nesses casos, o gradiente não chega à faixa em que o arredondamento o zera.
Mas essas técnicas tratam a consequência, não a causa. Elas não corrigem o erro de cálculo. Além disso, alteram o objetivo do treinamento. O label smoothing deixa o modelo deliberadamente menos categórico, o que pode atrapalhar onde a calibração honesta das probabilidades é importante.
O que os autores propõem
A solução foi simples: reescrever a fórmula, ou seja, mudar a ordem das operações. O resultado matemático continua o mesmo, mas o computador deixa de perder números pequenos. Não são necessárias novas camadas, outra arquitetura nem hiperparâmetros adicionais. É um ajuste na implementação da própria função.
Para desenvolvedores, isso traz duas conclusões práticas:
- Se você escreve um kernel próprio para softmax ou cross-entropy, por exemplo em CUDA ou Triton, ou treina modelos em baixa precisão, verifique como ele calcula probabilidades pequenas.
- Se você usa label smoothing ou temperatura "por costume", lembre-se de que elas podem mascarar o problema numérico, sem eliminá-lo.
O que ainda não sabemos
O resumo da pesquisa não traz números. Não está claro quanto a correção melhora a qualidade dos modelos, em quais tarefas o efeito é perceptível e como ele se manifesta em grandes modelos de linguagem. É possível que frameworks populares já levem em conta parte dessas sutilezas. Para avaliar o ganho real, é preciso ler o artigo completo e analisar os experimentos.
Ainda assim, o fato em si é revelador. Mesmo nos blocos mais básicos da IA há pontos em que a aritmética imprecisa afeta silenciosamente o treinamento. A correção é barata e potencialmente atinge todos que treinam redes neurais. Quem trabalha com treinamento e kernels próprios deveria, no mínimo, dar uma olhada nesse trabalho.
- 21 de nov. de 2026Capitã de equipe de natação entregou três tarefas ao ChatGPT pela agenda e cortou a rotina em muitas vezes
- 21 de nov. de 2026Rede neural MIRA desenha Rocket League a 20 quadros por segundo, mas o ping chega a 460 ms
- 21 de nov. de 2026Google criou uma cópia fechada da internet com bancos falsos para treinar agentes de IA do Chrome
- 21 de nov. de 2026No MLPerf Training, pela primeira vez, aparecem Nvidia Rubin e TPU Ironwood: 153 sistemas
Perguntas frequentes sobre a notícia
Onde o gradiente desaparece?
O gradiente é o sinal que indica em que direção e em quanto ajustar os pesos. O primeiro erro aparece quando o modelo fica confiante demais na resposta correta. Suponha que ele tenha 99,999999% de certeza de que a foto mostra um gato. No papel, ainda falta um pouquinho para a perfeição, e o gradiente continua minúsculo, mas diferente de zero. O computador, porém, arredonda esse valor para zero antes da hora: para ele, a confiança já é igual a um, e aparentemente não há o que aprender.
O que se sabe sobre Quão grave é o problema?
Os próprios pesquisadores ressaltam que a situação não é tão grave quanto parece. Técnicas conhecidas já protegem parcialmente contra o primeiro problema. O label smoothing impede que a resposta correta tenha 100% de certeza. A temperatura baixa também evita que o modelo fique excessivamente confiante. Nesses casos, o gradiente não chega à faixa em que o arredondamento o zera. Mas essas técnicas tratam a consequência, não a causa. Elas não corrigem o erro de cálculo. Além disso, alteram o objetivo do treinamento.
O que os autores propõem?
A solução foi simples: reescrever a fórmula, ou seja, mudar a ordem das operações. O resultado matemático continua o mesmo, mas o computador deixa de perder números pequenos. Não são necessárias novas camadas, outra arquitetura nem hiperparâmetros adicionais. É um ajuste na implementação da própria função.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.