Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)

Encuentran un error de redondeo en softmax y entropía cruzada: precisión del 85% frente al 23%

Softmax y la entropía cruzada están en todos los clasificadores y LLM, y en ellos se ha encontrado un error de redondeo. Cuando el modelo está muy seguro, la probabilidad de la respuesta correcta se redondea al 100%, el error se calcula como cero y el aprendizaje de ese ejemplo se detiene. Tras corregirlo, en la tarea a² + b² mod 97 la precisión en test llegó al 85%, mientras que con la función estándar cayó del 61% al 23%. Si entrena modelos en bf16, conviene revisar el cambio de una sola función de pérdida.

Procesado por IA desde TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Encuentran un error de redondeo en softmax y entropía cruzada: precisión del 85% frente al 23%
Fuente: TG: @gonzo_ML (gonzo-обзоры ML статей). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Editor jefe
Segundo erroren la destilación, el estudiante coincide con el maestro, pero el gradiente no es cero.
Suma a + b mod 3198,9–100% de precisión frente al 93,3–100% de la versión habitual.
Dato clave #3Las pruebas se hicieron solo con tareas pequeñas de aritmética modular, no con LLM grandes.

Softmax y la entropía cruzada son de las funciones más manoseadas del aprendizaje profundo. Softmax convierte las puntuaciones brutas del modelo para cada opción de respuesta (los llamados logits) en probabilidades, y la entropía cruzada compara esas probabilidades con la respuesta correcta y devuelve un número que indica cuánto se ha equivocado el modelo. Ese número se llama pérdida (loss), y es con él con el que aprende la red.

Esta combinación aparece en clasificadores, modelos de lenguaje y destilación. Jonathan Barron, Dan Gnanapragasam y Michael Chennen afirman en el artículo «A Fix for Softmax and Cross-Entropy» que en todas las implementaciones masivas de estas funciones hay dos errores de redondeo. Los detectaron después de más de diez años de uso intensivo.

Cómo el redondeo anula el aprendizaje

El primer error, al que los autores llaman Softmax Collapse, se parece a un alumno tan seguro de su respuesta que el profesor deja de corregirlo. En el modelo ocurre algo similar. Cuando está muy seguro, la probabilidad de la clase correcta se redondea en los números de coma flotante a exactamente 100%. La señal de aprendizaje se calcula aproximadamente como «uno menos la probabilidad», así que el resultado es exactamente cero. El gradiente que actualiza los pesos desaparece y, con ese ejemplo, el modelo deja de aprender. El problema no está en las matemáticas, sino en que un número de coma flotante tiene un número finito de cifras significativas.

El segundo error, Softmax Cancellation, aparece en la destilación, es decir, en el entrenamiento de un modelo pequeño (el estudiante) para que repita las respuestas de uno grande (el maestro). Si los logits del estudiante ya coinciden con los del maestro, el gradiente debería ser cero. Pero al restar dos números casi iguales, el redondeo deja un resto pequeño y distinto de cero. Ese resto sigue empujando los pesos, que terminan desplazándose. El efecto es más notable en bf16: este formato almacena pocas cifras significativas, pero es el que hoy usan muchos modelos grandes para entrenar.

Qué proponen y qué cifras obtuvieron

Los autores reescribieron softmax, log-softmax y la entropía cruzada (tanto para etiquetas duras, donde hay una única respuesta correcta, como para etiquetas blandas, donde se trata de un conjunto de probabilidades) en el espacio logarítmico. La idea es clara: no restar números casi iguales, sino calcular de forma que las diferencias pequeñas no se pierdan. No hay un repositorio aparte; el artículo incluye fragmentos de código autocontenidos en JAX.

Las pruebas se hicieron con aritmética modular, donde el grokking se ve con claridad. Así se llama la situación en la que el modelo memoriza durante mucho tiempo los ejemplos de entrenamiento y de pronto empieza a generalizar.

  • En la tarea «suma módulo 31» (a + b mod 31), en los formatos bf16, fp32 y fp64, la entropía cruzada corregida alcanzó entre 98,9% y 100% de precisión en test. La estándar, entre 93,3% y 100%.
  • Las alternativas funcionaron peor. Zero-sum Projection, que resta la media de los gradientes, dio entre 48,9% y 97,9%. StableMax, que sustituye softmax por una función racional a trozos, dio entre 95,6% y 97,4%.
  • En la tarea a² + b² mod 97 sin regularización, la versión corregida llegó al 85% de precisión. La entropía cruzada estándar subió primero al 61% y después cayó al 23%.

Además desaparecen los saltos bruscos de la pérdida que en el grokking se denominan efecto de tirachinas (Slingshot). En la destilación en bf16 desaparece la deriva de los pesos, sin necesidad de pasar a fp64, que resulta bastante más caro en memoria y velocidad.

Qué hacer con esto en la práctica

Para los ingenieros, lo principal es que se trata de un reemplazo directo. Cambia una sola función de pérdida, mientras que la arquitectura y los datos siguen igual. Si entrena o destila modelos en bf16 y observa saltos extraños en la pérdida o estancamiento en ejemplos de muy alta confianza, esta corrección merece probarse en primer lugar. Sale más barata que pasar todo el entrenamiento a formatos más precisos.

También hay salvedades honestas. Todos los experimentos se hicieron en tareas pequeñas de aritmética modular. Allí se crean deliberadamente márgenes enormes entre logits y diferencias casi nulas entre estudiante y maestro. En el entrenamiento a gran escala, esos regímenes extremos son raros, así que la mejora en modelos de lenguaje grandes todavía no está demostrada. El efecto en producción podría notarse solo en escenarios concretos: entrenamientos largos con modelos muy seguros, destilación agresiva y baja precisión de cálculo.

En conclusión, sería prematuro prometer que sus modelos mejorarán de inmediato. Pero sí conviene incluir la entropía cruzada corregida en el conjunto de pruebas A/B, sobre todo en flujos de trabajo con bf16 y destilación. Si el efecto se confirma a escalas reales, la mejora vendrá de reparar los cimientos y no de una arquitectura nueva.

Historia

Preguntas frecuentes sobre la noticia

Cómo el redondeo anula el aprendizaje?

El primer error, al que los autores llaman Softmax Collapse, se parece a un alumno tan seguro de su respuesta que el profesor deja de corregirlo. En el modelo ocurre algo similar. Cuando está muy seguro, la probabilidad de la clase correcta se redondea en los números de coma flotante a exactamente 100%. La señal de aprendizaje se calcula aproximadamente como «uno menos la probabilidad», así que el resultado es exactamente cero.

¿Qué se sabe sobre Qué proponen y qué cifras obtuvieron?

Los autores reescribieron softmax, log-softmax y la entropía cruzada (tanto para etiquetas duras, donde hay una única respuesta correcta, como para etiquetas blandas, donde se trata de un conjunto de probabilidades) en el espacio logarítmico. La idea es clara: no restar números casi iguales, sino calcular de forma que las diferencias pequeñas no se pierdan. No hay un repositorio aparte; el artículo incluye fragmentos de código autocontenidos en JAX.

¿Qué se sabe sobre Qué hacer con esto en la práctica?

Para los ingenieros, lo principal es que se trata de un reemplazo directo. Cambia una sola función de pérdida, mientras que la arquitectura y los datos siguen igual. Si entrena o destila modelos en bf16 y observa saltos extraños en la pérdida o estancamiento en ejemplos de muy alta confianza, esta corrección merece probarse en primer lugar. Sale más barata que pasar todo el entrenamiento a formatos más precisos. También hay salvedades honestas.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…