Bug de arredondamento em softmax e entropia cruzada: acurácia de 85% em vez de 23%
Softmax e entropia cruzada estão em todo classificador e LLM, e foram encontrados bugs de arredondamento nelas. Quando o modelo está muito confiante, a probabilidade da resposta correta é arredondada para 100%, o erro é considerado zero e o aprendizado naquele exemplo para. Após a correção, na tarefa a² + b² mod 97, a acurácia no teste chegou a 85%, enquanto a função padrão caiu de 61% para 23%. Se você treina modelos em bf16, vale testar a troca de uma única função de perda.
Processado por IA de TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Softmax e entropia cruzada são as funções mais batidas do aprendizado profundo. O softmax transforma as pontuações brutas do modelo para cada opção de resposta (chamadas de logits) em probabilidades, e a entropia cruzada compara essas probabilidades com a resposta correta e produz um número que indica o quanto o modelo errou. Esse número é chamado de perda (loss), e é por ele que a rede aprende.
Essa combinação está presente em classificadores, modelos de linguagem e destilação. Jonathan Barron, Dan Gnanapragasam e Michael Ghennen, no artigo "A Fix for Softmax and Cross-Entropy", afirmam que todas as implementações em larga escala dessas funções contêm dois erros de arredondamento. Eles foram notados apenas depois de mais de dez anos de uso intenso.
Como o arredondamento anula o treinamento
O primeiro bug os autores chamam de Softmax Collapse. Imagine um aluno tão seguro da resposta que o professor deixa de corrigi-lo. No modelo acontece algo parecido. Quando ele está muito confiante, a probabilidade da classe correta é arredondada, nos números do computador, para exatamente 100%. O sinal de treinamento é calculado aproximadamente como "um menos a probabilidade", o que resulta em exatamente zero. O gradiente que atualiza os pesos desaparece, e o modelo deixa de aprender com aquele exemplo. O motivo não está na matemática, mas no fato de que um número de ponto flutuante tem um número finito de algarismos significativos.
O segundo bug — Softmax Cancellation — aparece na destilação, processo em que um modelo pequeno, o aluno, é treinado para repetir as respostas de um modelo grande, o professor. Se os logits do aluno já coincidem com os do professor, o gradiente deveria ser zero. Mas, ao subtrair dois números quase iguais, o arredondamento deixa um resíduo pequeno e não nulo. Ele continua empurrando os pesos, que acabam derivando. O efeito é mais forte em bf16: esse formato guarda poucos algarismos significativos, e é justamente nele que muitos modelos grandes são treinados hoje.
O que foi proposto e quais números foram obtidos
Os autores reescreveram o softmax, o log-softmax e a entropia cruzada (tanto para rótulos rígidos, em que há uma única resposta correta, quanto para rótulos suaves, em que há um conjunto de probabilidades) no espaço logarítmico. A ideia é simples: em vez de subtrair números quase idênticos, calcular de um jeito em que as pequenas diferenças não se percam. Não há repositório separado; o artigo traz trechos de código autossuficientes em JAX.
Os testes foram feitos em aritmética modular, onde o grokking é bem visível. Chama-se assim a situação em que o modelo, por muito tempo, apenas decora os exemplos de treino e depois, de repente, passa a generalizar.
- Na tarefa "soma módulo 31" (a + b mod 31), nos formatos bf16, fp32 e fp64, a entropia cruzada corrigida atingiu 98,9–100% de acurácia no teste. A padrão atingiu 93,3–100%.
- As alternativas tiveram desempenho pior. O Zero-sum Projection, que subtrai a média dos gradientes, ficou em 48,9–97,9%. O StableMax, que substitui o softmax por uma função racional por partes, ficou em 95,6–97,4%.
- Na tarefa a² + b² mod 97, sem regularização, a versão corrigida chegou a 85% de acurácia. A entropia cruzada padrão subiu primeiro para 61% e depois caiu para 23%.
Além disso, somem os saltos bruscos da perda que, no grokking, são chamados de efeito estilingue (Slingshot). Na destilação em bf16, desaparece a deriva dos pesos, e não é preciso migrar para fp64, que é bem mais caro em memória e velocidade.
O que fazer com isso na prática
Para os engenheiros, o principal é que se trata de uma substituição direta. Muda-se uma única função de perda; arquitetura e dados permanecem os mesmos. Se você treina ou destila modelos em bf16 e observa saltos estranhos na perda ou estagnação em exemplos em que o modelo está muito confiante, essa correção vale ser testada primeiro. Ela custa menos do que migrar todo o treinamento para formatos mais precisos.
Há também ressalvas honestas. Todos os experimentos foram feitos em pequenas tarefas de aritmética modular. Ali, criam-se de propósito margens enormes entre os logits e lacunas quase nulas entre aluno e professor. Em treinamentos de grande escala, esses regimes extremos são raros, por isso o ganho em grandes modelos de linguagem ainda não está comprovado. O efeito em produção pode aparecer apenas em cenários específicos: treinamentos longos com alta confiança do modelo, destilação agressiva e baixa precisão numérica.
A conclusão é esta. Ainda é cedo para prometer que seus modelos vão melhorar imediatamente. Mas vale incluir a entropia cruzada corrigida no conjunto de testes A/B, sobretudo em pipelines com bf16 e destilação. Se o efeito se confirmar em escalas reais, a melhora virá do conserto da base, e não de uma nova arquitetura.
- 21 de nov. de 2026Bug de arredondamento no softmax explicou o grokking: após o conserto, a generalização súbita desapareceu
- 26 de out. de 2026DeepMind encontrou dois erros de arredondamento no softmax: o gradiente zera antes da hora
- 29 de out. de 2026Google DeepMind encontra falha no softmax: gradiente zera quando a margem chega a 16,6
- 28 de out. de 2026Pesquisadores eliminam o ruído do treinamento MTP em LLMs com uma única linha de código
Perguntas frequentes sobre a notícia
Como o arredondamento anula o treinamento?
O primeiro bug os autores chamam de Softmax Collapse. Imagine um aluno tão seguro da resposta que o professor deixa de corrigi-lo. No modelo acontece algo parecido. Quando ele está muito confiante, a probabilidade da classe correta é arredondada, nos números do computador, para exatamente 100%. O sinal de treinamento é calculado aproximadamente como "um menos a probabilidade", o que resulta em exatamente zero. O gradiente que atualiza os pesos desaparece, e o modelo deixa de aprender com aquele exemplo.
O que foi proposto e quais números foram obtidos?
Os autores reescreveram o softmax, o log-softmax e a entropia cruzada (tanto para rótulos rígidos, em que há uma única resposta correta, quanto para rótulos suaves, em que há um conjunto de probabilidades) no espaço logarítmico. A ideia é simples: em vez de subtrair números quase idênticos, calcular de um jeito em que as pequenas diferenças não se percam. Não há repositório separado; o artigo traz trechos de código autossuficientes em JAX.
O que fazer com isso na prática?
Para os engenheiros, o principal é que se trata de uma substituição direta. Muda-se uma única função de perda; arquitetura e dados permanecem os mesmos. Se você treina ou destila modelos em bf16 e observa saltos estranhos na perda ou estagnação em exemplos em que o modelo está muito confiante, essa correção vale ser testada primeiro. Ela custa menos do que migrar todo o treinamento para formatos mais precisos. Há também ressalvas honestas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.