El error de redondeo en softmax explicó el grokking: tras corregirlo, la generalización repentina desapareció
Softmax convierte las salidas de un modelo en probabilidades, y en PyTorch, JAX y TensorFlow se encontraron dos errores de redondeo en esta función. Cuando el modelo está casi al 100% seguro, el gradiente de la respuesta correcta se anula, mientras que el de las incorrectas se mantiene, y el equilibrio se rompe. En la destilación, un estudiante que ya coincide con el maestro sigue recibiendo un gradiente distinto de cero. Tras la corrección, el grokking, es decir, la generalización repentina después del sobreajuste, desapareció, y en el preentrenamiento habitual de los LLM casi no cambia nada.
Procesado por IA desde TG: @dealerAI (Dealer.AI); editado por Hamidun News
Softmax y cross-entropy aparecen en casi todos los bucles de entrenamiento: softmax convierte las salidas «crudas» del modelo (logits) en probabilidades, y cross-entropy calcula cuánto se equivocó el modelo. De ese error sale el gradiente, la pista sobre en qué dirección ajustar los pesos. El 22 de octubre se publicó un trabajo que afirma que las implementaciones estándar de estas funciones en todos los frameworks populares (PyTorch, JAX y TensorFlow) tienen dos errores numéricos. El trabajo ha despertado interés y controversia, y de paso ha puesto en duda uno de los fenómenos más célebres del entrenamiento de redes neuronales: el grokking.
Qué dos errores encontraron
El primer error se llamó Softmax Collapse. Imagine un clasificador que se ha vuelto excesivamente confiado y asigna a la respuesta correcta una probabilidad cercana al 100%. Con números de precisión limitada, ese valor se redondea, en términos generales, a uno. Como resultado, el gradiente de la respuesta correcta se vuelve exactamente cero, mientras que el de las opciones incorrectas sigue siendo pequeño pero distinto de cero. Normalmente estos gradientes suman cero, como dos platillos de una balanza en equilibrio. Aquí uno de los platillos se ha «vaciado» y el otro no, y el equilibrio se rompe. El entrenamiento recibe una señal sesgada.
El segundo error, Softmax Cancellation, aparece en la destilación, cuando un modelo estudiante pequeño aprende a reproducir a un modelo maestro grande. Cuando los logits del estudiante se acercan a los del maestro, el error debería volverse cero. Pero, por la imprecisión numérica, el gradiente sigue siendo distinto de cero incluso con una coincidencia perfecta. El estudiante empieza a ajustarse a la escala de la distribución del maestro (sus embeddings o probabilidades), aunque ya no queda nada que ajustar. Es como un perfeccionista que sigue retocando un trabajo terminado y lo estropea.
Qué pasó con el grokking
La consecuencia más llamativa afecta al grokking. Así se llama la situación en la que un modelo primero memoriza durante mucho tiempo los ejemplos de entrenamiento y luego, de repente, empieza a generalizar. Los picos bruscos de loss en ese momento, los llamados slingshot spikes, se consideraban una particularidad de ese régimen. Tras la corrección, los modelos que antes hacían grokking dejan de hacerlo. Es decir, los slingshot spikes resultaron ser un artefacto del error en softmax, y no una transición de fase mágica.
Sin el error, el panorama es más prosaico. El grokking se acelera con weight decay (penalización por pesos demasiado grandes), o bien, sin weight decay, la precisión simplemente no cae. El autor, Barron, bromeó diciendo que el valor por defecto eps=1e-8 del optimizador Adam cae justo en el «precipicio» de precisión de fp32, donde se activa el error.
A quién le importa y a quién no
El propio Barron escribe en el artículo que las confianzas extremas y las diferencias casi nulas entre estudiante y maestro que se comprobaron en los experimentos no son frecuentes en el entrenamiento grande habitual. Los modelos de lenguaje grandes, durante el preentrenamiento, aprenden a predecir el siguiente token. Ahí la distribución está lejos de «estoy seguro al 99,999%», por lo que los logits rara vez chocan con el límite de fp32. Para cerca del 90% del entrenamiento estándar, casi nada cambiará.
El efecto real se espera en cuatro escenarios:
- Destilación. El estudiante, al acercarse al maestro, recibía gradientes falsos distintos de cero y se alejaba sin motivo. La corrección elimina esto. Para los pipelines de destilación en producción, que son muy comunes en la industria, supone una mejora clara.
- Entrenamiento en bf16. El precision cliff de bf16 es de apenas unos 5,5, y se alcanza muy rápido. Hoy casi todos entrenan en bf16, así que el error podría activarse de forma constante. Aquí la corrección aporta la mayor ganancia de estabilidad.
- Fine-tuning y RLHF. Al afinar un modelo para una tarea concreta, este se vuelve muy seguro. En RLHF con PPO o GRPO, donde el modelo genera respuestas y recibe una valoración, el error podría distorsionar los gradientes en las etapas finales.
- Datasets pequeños con weight decay. Es el régimen clásico del grokking en tareas de juguete. La corrección elimina los slingshots y acelera la convergencia, pero en la industria casi no existen escenarios así.
Lo que no conviene esperar
La corrección no hará que GPT-6, Claude o Gemini sean notablemente mejores: su preentrenamiento no se rompe por el error y no se volverá varias veces más potente. Tampoco cambia la velocidad de entrenamiento ni de inferencia. No es un nuevo mecanismo de atención ni una nueva función de activación, sino una corrección numérica.
La conclusión práctica es esta. Si destila modelos, entrena en bf16 o ejecuta las etapas finales de RLHF, conviene comparar sus curvas de loss con la implementación estándar y con la corregida. Si hace un preentrenamiento habitual, no hay motivo para alarmarse. Y al leer artículos sobre grokking, conviene tener presente que parte de los efectos podría deberse al redondeo y no a propiedades de la red.
Aclaración: este es un resumen del trabajo a partir de una publicación en un canal de Telegram, no un análisis completo del artículo. La magnitud del efecto en pipelines grandes reales aún la evalúan los propios autores, y en la comunidad continúa el debate. La fuente original es el preprint en arXiv, enlazado en la publicación original.
- 26 oct 2026Encuentran un error de redondeo en softmax y entropía cruzada: precisión del 85% frente al 23%
- 26 oct 2026DeepMind encuentra dos errores de redondeo en softmax: el gradiente se anula antes de tiempo
- 8 nov 2026Claude corrigio 165 pesos de un modelo medico en una hora y elevo el recall del 76% al 90%
- 29 oct 2026Google DeepMind encuentra un fallo en softmax: el gradiente se anula con un margen de 16,6
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué dos errores encontraron?
El primer error se llamó Softmax Collapse. Imagine un clasificador que se ha vuelto excesivamente confiado y asigna a la respuesta correcta una probabilidad cercana al 100%. Con números de precisión limitada, ese valor se redondea, en términos generales, a uno. Como resultado, el gradiente de la respuesta correcta se vuelve exactamente cero, mientras que el de las opciones incorrectas sigue siendo pequeño pero distinto de cero.
¿Qué se sabe sobre Qué pasó con el grokking?
La consecuencia más llamativa afecta al grokking. Así se llama la situación en la que un modelo primero memoriza durante mucho tiempo los ejemplos de entrenamiento y luego, de repente, empieza a generalizar. Los picos bruscos de loss en ese momento, los llamados slingshot spikes, se consideraban una particularidad de ese régimen. Tras la corrección, los modelos que antes hacían grokking dejan de hacerlo.
¿Qué se sabe sobre A quién le importa y a quién no?
El propio Barron escribe en el artículo que las confianzas extremas y las diferencias casi nulas entre estudiante y maestro que se comprobaron en los experimentos no son frecuentes en el entrenamiento grande habitual. Los modelos de lenguaje grandes, durante el preentrenamiento, aprenden a predecir el siguiente token. Ahí la distribución está lejos de «estoy seguro al 99,999%», por lo que los logits rara vez chocan con el límite de fp32. Para cerca del 90% del entrenamiento estándar, casi nada cambiará.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.