Encuentran un error de redondeo en softmax y entropía cruzada: precisión del 85% frente al 23%
Softmax y la entropía cruzada están en todos los clasificadores y LLM, y en ellos se ha encontrado un error de redondeo. Cuando el modelo está muy seguro, la probabilidad de la respuesta correcta se redondea al 100%, el error se calcula como cero y el aprendizaje de ese ejemplo se detiene. Tras corregirlo, en la tarea a² + b² mod 97 la precisión en test llegó al 85%, mientras que con la función estándar cayó del 61% al 23%. Si entrena modelos en bf16, conviene revisar el cambio de una sola función de pérdida.
Procesado por IA desde TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Softmax y la entropía cruzada son de las funciones más manoseadas del aprendizaje profundo. Softmax convierte las puntuaciones brutas del modelo para cada opción de respuesta (los llamados logits) en probabilidades, y la entropía cruzada compara esas probabilidades con la respuesta correcta y devuelve un número que indica cuánto se ha equivocado el modelo. Ese número se llama pérdida (loss), y es con él con el que aprende la red.
Esta combinación aparece en clasificadores, modelos de lenguaje y destilación. Jonathan Barron, Dan Gnanapragasam y Michael Chennen afirman en el artículo «A Fix for Softmax and Cross-Entropy» que en todas las implementaciones masivas de estas funciones hay dos errores de redondeo. Los detectaron después de más de diez años de uso intensivo.
Cómo el redondeo anula el aprendizaje
El primer error, al que los autores llaman Softmax Collapse, se parece a un alumno tan seguro de su respuesta que el profesor deja de corregirlo. En el modelo ocurre algo similar. Cuando está muy seguro, la probabilidad de la clase correcta se redondea en los números de coma flotante a exactamente 100%. La señal de aprendizaje se calcula aproximadamente como «uno menos la probabilidad», así que el resultado es exactamente cero. El gradiente que actualiza los pesos desaparece y, con ese ejemplo, el modelo deja de aprender. El problema no está en las matemáticas, sino en que un número de coma flotante tiene un número finito de cifras significativas.
El segundo error, Softmax Cancellation, aparece en la destilación, es decir, en el entrenamiento de un modelo pequeño (el estudiante) para que repita las respuestas de uno grande (el maestro). Si los logits del estudiante ya coinciden con los del maestro, el gradiente debería ser cero. Pero al restar dos números casi iguales, el redondeo deja un resto pequeño y distinto de cero. Ese resto sigue empujando los pesos, que terminan desplazándose. El efecto es más notable en bf16: este formato almacena pocas cifras significativas, pero es el que hoy usan muchos modelos grandes para entrenar.
Qué proponen y qué cifras obtuvieron
Los autores reescribieron softmax, log-softmax y la entropía cruzada (tanto para etiquetas duras, donde hay una única respuesta correcta, como para etiquetas blandas, donde se trata de un conjunto de probabilidades) en el espacio logarítmico. La idea es clara: no restar números casi iguales, sino calcular de forma que las diferencias pequeñas no se pierdan. No hay un repositorio aparte; el artículo incluye fragmentos de código autocontenidos en JAX.
Las pruebas se hicieron con aritmética modular, donde el grokking se ve con claridad. Así se llama la situación en la que el modelo memoriza durante mucho tiempo los ejemplos de entrenamiento y de pronto empieza a generalizar.
- En la tarea «suma módulo 31» (a + b mod 31), en los formatos bf16, fp32 y fp64, la entropía cruzada corregida alcanzó entre 98,9% y 100% de precisión en test. La estándar, entre 93,3% y 100%.
- Las alternativas funcionaron peor. Zero-sum Projection, que resta la media de los gradientes, dio entre 48,9% y 97,9%. StableMax, que sustituye softmax por una función racional a trozos, dio entre 95,6% y 97,4%.
- En la tarea a² + b² mod 97 sin regularización, la versión corregida llegó al 85% de precisión. La entropía cruzada estándar subió primero al 61% y después cayó al 23%.
Además desaparecen los saltos bruscos de la pérdida que en el grokking se denominan efecto de tirachinas (Slingshot). En la destilación en bf16 desaparece la deriva de los pesos, sin necesidad de pasar a fp64, que resulta bastante más caro en memoria y velocidad.
Qué hacer con esto en la práctica
Para los ingenieros, lo principal es que se trata de un reemplazo directo. Cambia una sola función de pérdida, mientras que la arquitectura y los datos siguen igual. Si entrena o destila modelos en bf16 y observa saltos extraños en la pérdida o estancamiento en ejemplos de muy alta confianza, esta corrección merece probarse en primer lugar. Sale más barata que pasar todo el entrenamiento a formatos más precisos.
También hay salvedades honestas. Todos los experimentos se hicieron en tareas pequeñas de aritmética modular. Allí se crean deliberadamente márgenes enormes entre logits y diferencias casi nulas entre estudiante y maestro. En el entrenamiento a gran escala, esos regímenes extremos son raros, así que la mejora en modelos de lenguaje grandes todavía no está demostrada. El efecto en producción podría notarse solo en escenarios concretos: entrenamientos largos con modelos muy seguros, destilación agresiva y baja precisión de cálculo.
En conclusión, sería prematuro prometer que sus modelos mejorarán de inmediato. Pero sí conviene incluir la entropía cruzada corregida en el conjunto de pruebas A/B, sobre todo en flujos de trabajo con bf16 y destilación. Si el efecto se confirma a escalas reales, la mejora vendrá de reparar los cimientos y no de una arquitectura nueva.
- 21 nov 2026El error de redondeo en softmax explicó el grokking: tras corregirlo, la generalización repentina desapareció
- 26 oct 2026DeepMind encuentra dos errores de redondeo en softmax: el gradiente se anula antes de tiempo
- 29 oct 2026Google DeepMind encuentra un fallo en softmax: el gradiente se anula con un margen de 16,6
- 28 oct 2026Investigadores eliminan el ruido del entrenamiento MTP en LLM con una sola línea de código
Preguntas frecuentes sobre la noticia
Cómo el redondeo anula el aprendizaje?
El primer error, al que los autores llaman Softmax Collapse, se parece a un alumno tan seguro de su respuesta que el profesor deja de corregirlo. En el modelo ocurre algo similar. Cuando está muy seguro, la probabilidad de la clase correcta se redondea en los números de coma flotante a exactamente 100%. La señal de aprendizaje se calcula aproximadamente como «uno menos la probabilidad», así que el resultado es exactamente cero.
¿Qué se sabe sobre Qué proponen y qué cifras obtuvieron?
Los autores reescribieron softmax, log-softmax y la entropía cruzada (tanto para etiquetas duras, donde hay una única respuesta correcta, como para etiquetas blandas, donde se trata de un conjunto de probabilidades) en el espacio logarítmico. La idea es clara: no restar números casi iguales, sino calcular de forma que las diferencias pequeñas no se pierdan. No hay un repositorio aparte; el artículo incluye fragmentos de código autocontenidos en JAX.
¿Qué se sabe sobre Qué hacer con esto en la práctica?
Para los ingenieros, lo principal es que se trata de un reemplazo directo. Cambia una sola función de pérdida, mientras que la arquitectura y los datos siguen igual. Si entrena o destila modelos en bf16 y observa saltos extraños en la pérdida o estancamiento en ejemplos de muy alta confianza, esta corrección merece probarse en primer lugar. Sale más barata que pasar todo el entrenamiento a formatos más precisos. También hay salvedades honestas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.