Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

Bug de arredondamento em softmax e entropia cruzada: acurácia de 85% em vez de 23%

Softmax e entropia cruzada estão em todo classificador e LLM, e foram encontrados bugs de arredondamento nelas. Quando o modelo está muito confiante, a probabilidade da resposta correta é arredondada para 100%, o erro é considerado zero e o aprendizado naquele exemplo para. Após a correção, na tarefa a² + b² mod 97, a acurácia no teste chegou a 85%, enquanto a função padrão caiu de 61% para 23%. Se você treina modelos em bf16, vale testar a troca de uma única função de perda.

Processado por IA de TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Bug de arredondamento em softmax e entropia cruzada: acurácia de 85% em vez de 23%
Fonte: TG: @gonzo_ML (gonzo-обзоры ML статей). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Editor-chefe
Segundo bugna destilação, o aluno coincidiu com o professor, mas o gradiente não é zero
Soma a + b mod 3198,9–100% de acurácia contra 93,3–100% da versão padrão
Dado-chave #3Os testes foram feitos apenas em tarefas pequenas de aritmética modular, não em grandes LLMs

Softmax e entropia cruzada são as funções mais batidas do aprendizado profundo. O softmax transforma as pontuações brutas do modelo para cada opção de resposta (chamadas de logits) em probabilidades, e a entropia cruzada compara essas probabilidades com a resposta correta e produz um número que indica o quanto o modelo errou. Esse número é chamado de perda (loss), e é por ele que a rede aprende.

Essa combinação está presente em classificadores, modelos de linguagem e destilação. Jonathan Barron, Dan Gnanapragasam e Michael Ghennen, no artigo "A Fix for Softmax and Cross-Entropy", afirmam que todas as implementações em larga escala dessas funções contêm dois erros de arredondamento. Eles foram notados apenas depois de mais de dez anos de uso intenso.

Como o arredondamento anula o treinamento

O primeiro bug os autores chamam de Softmax Collapse. Imagine um aluno tão seguro da resposta que o professor deixa de corrigi-lo. No modelo acontece algo parecido. Quando ele está muito confiante, a probabilidade da classe correta é arredondada, nos números do computador, para exatamente 100%. O sinal de treinamento é calculado aproximadamente como "um menos a probabilidade", o que resulta em exatamente zero. O gradiente que atualiza os pesos desaparece, e o modelo deixa de aprender com aquele exemplo. O motivo não está na matemática, mas no fato de que um número de ponto flutuante tem um número finito de algarismos significativos.

O segundo bug — Softmax Cancellation — aparece na destilação, processo em que um modelo pequeno, o aluno, é treinado para repetir as respostas de um modelo grande, o professor. Se os logits do aluno já coincidem com os do professor, o gradiente deveria ser zero. Mas, ao subtrair dois números quase iguais, o arredondamento deixa um resíduo pequeno e não nulo. Ele continua empurrando os pesos, que acabam derivando. O efeito é mais forte em bf16: esse formato guarda poucos algarismos significativos, e é justamente nele que muitos modelos grandes são treinados hoje.

O que foi proposto e quais números foram obtidos

Os autores reescreveram o softmax, o log-softmax e a entropia cruzada (tanto para rótulos rígidos, em que há uma única resposta correta, quanto para rótulos suaves, em que há um conjunto de probabilidades) no espaço logarítmico. A ideia é simples: em vez de subtrair números quase idênticos, calcular de um jeito em que as pequenas diferenças não se percam. Não há repositório separado; o artigo traz trechos de código autossuficientes em JAX.

Os testes foram feitos em aritmética modular, onde o grokking é bem visível. Chama-se assim a situação em que o modelo, por muito tempo, apenas decora os exemplos de treino e depois, de repente, passa a generalizar.

  • Na tarefa "soma módulo 31" (a + b mod 31), nos formatos bf16, fp32 e fp64, a entropia cruzada corrigida atingiu 98,9–100% de acurácia no teste. A padrão atingiu 93,3–100%.
  • As alternativas tiveram desempenho pior. O Zero-sum Projection, que subtrai a média dos gradientes, ficou em 48,9–97,9%. O StableMax, que substitui o softmax por uma função racional por partes, ficou em 95,6–97,4%.
  • Na tarefa a² + b² mod 97, sem regularização, a versão corrigida chegou a 85% de acurácia. A entropia cruzada padrão subiu primeiro para 61% e depois caiu para 23%.

Além disso, somem os saltos bruscos da perda que, no grokking, são chamados de efeito estilingue (Slingshot). Na destilação em bf16, desaparece a deriva dos pesos, e não é preciso migrar para fp64, que é bem mais caro em memória e velocidade.

O que fazer com isso na prática

Para os engenheiros, o principal é que se trata de uma substituição direta. Muda-se uma única função de perda; arquitetura e dados permanecem os mesmos. Se você treina ou destila modelos em bf16 e observa saltos estranhos na perda ou estagnação em exemplos em que o modelo está muito confiante, essa correção vale ser testada primeiro. Ela custa menos do que migrar todo o treinamento para formatos mais precisos.

Há também ressalvas honestas. Todos os experimentos foram feitos em pequenas tarefas de aritmética modular. Ali, criam-se de propósito margens enormes entre os logits e lacunas quase nulas entre aluno e professor. Em treinamentos de grande escala, esses regimes extremos são raros, por isso o ganho em grandes modelos de linguagem ainda não está comprovado. O efeito em produção pode aparecer apenas em cenários específicos: treinamentos longos com alta confiança do modelo, destilação agressiva e baixa precisão numérica.

A conclusão é esta. Ainda é cedo para prometer que seus modelos vão melhorar imediatamente. Mas vale incluir a entropia cruzada corrigida no conjunto de testes A/B, sobretudo em pipelines com bf16 e destilação. Se o efeito se confirmar em escalas reais, a melhora virá do conserto da base, e não de uma nova arquitetura.

História

Perguntas frequentes sobre a notícia

Como o arredondamento anula o treinamento?

O primeiro bug os autores chamam de Softmax Collapse. Imagine um aluno tão seguro da resposta que o professor deixa de corrigi-lo. No modelo acontece algo parecido. Quando ele está muito confiante, a probabilidade da classe correta é arredondada, nos números do computador, para exatamente 100%. O sinal de treinamento é calculado aproximadamente como "um menos a probabilidade", o que resulta em exatamente zero. O gradiente que atualiza os pesos desaparece, e o modelo deixa de aprender com aquele exemplo.

O que foi proposto e quais números foram obtidos?

Os autores reescreveram o softmax, o log-softmax e a entropia cruzada (tanto para rótulos rígidos, em que há uma única resposta correta, quanto para rótulos suaves, em que há um conjunto de probabilidades) no espaço logarítmico. A ideia é simples: em vez de subtrair números quase idênticos, calcular de um jeito em que as pequenas diferenças não se percam. Não há repositório separado; o artigo traz trechos de código autossuficientes em JAX.

O que fazer com isso na prática?

Para os engenheiros, o principal é que se trata de uma substituição direta. Muda-se uma única função de perda; arquitetura e dados permanecem os mesmos. Se você treina ou destila modelos em bf16 e observa saltos estranhos na perda ou estagnação em exemplos em que o modelo está muito confiante, essa correção vale ser testada primeiro. Ela custa menos do que migrar todo o treinamento para formatos mais precisos. Há também ressalvas honestas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…