DeepMind encuentra dos errores de redondeo en softmax: el gradiente se anula antes de tiempo
Google DeepMind ha encontrado dos errores de redondeo en softmax y cross-entropy, las funciones sobre las que aprende casi cualquier red neuronal. Si el modelo está casi al 100% seguro de su respuesta, el ordenador anula un gradiente diminuto (el ajuste de los pesos), aunque sobre el papel no sea nulo. El segundo error aparece durante la destilación, cuando un modelo pequeño copia a uno grande. La solución consiste en reordenar las operaciones de la fórmula: las matemáticas siguen siendo las mismas, pero los números pequeños no se pierden.
Procesado por IA desde TG: @mishin_learning (Мишин Лернинг); editado por Hamidun News
Softmax y cross-entropy están presentes en casi todas las redes neuronales, desde los clasificadores de imágenes hasta los grandes modelos de lenguaje. Softmax convierte las puntuaciones «brutas» del modelo en probabilidades, y cross-entropy compara esas probabilidades con la respuesta correcta y calcula el error. Ambas funciones se consideran tan básicas y «resueltas» que casi nadie les presta atención. Los investigadores de Google DeepMind sí lo hicieron y encontraron dos errores numéricos que pueden hacer que el entrenamiento no salga como se espera. El trabajo se titula «A Fix for Softmax and Cross-Entropy» y se ha publicado en arXiv.
Una advertencia importante: el error no está en las matemáticas. Las fórmulas son correctas. El problema está en cómo las calcula el ordenador. Los números de punto flotante se almacenan con precisión limitada, y los valores muy pequeños simplemente se pierden.
Dónde desaparece el gradiente
El gradiente es la señal que indica en qué dirección y cuánto hay que ajustar los pesos. El primer error aparece cuando el modelo se vuelve demasiado seguro de la respuesta correcta. Supongamos que está seguro al 99,999999% de que en la foto hay un gato. Sobre el papel, todavía le falta un poquito para llegar al ideal, así que el gradiente sigue siendo diminuto pero no nulo. Sin embargo, el ordenador lo redondea a cero antes de tiempo: para él la confianza ya es igual a uno y no hay nada que aprender.
Lo más fácil es imaginar una caja registradora que descarta todo lo que es menor que un céntimo. Una sola compra no cambia nada. Pero el entrenamiento consta de millones de pasos, y una parte de la señal útil desaparece en cada uno de ellos.
El segundo error aparece durante la destilación, el proceso en el que un modelo pequeño, el alumno, repite las respuestas de un modelo grande, el maestro. Según describen los autores, el error numérico se manifiesta incluso cuando el alumno repite a la perfección al maestro. El objetivo ya se ha alcanzado, pero el cálculo sigue distorsionándose.
Hasta qué punto es grave
Los propios investigadores subrayan que la situación no es tan dramática como podría parecer. Técnicas conocidas ya protegen en parte frente al primer problema. El label smoothing impide que la respuesta correcta tenga una confianza del 100%. La temperatura baja también evita que el modelo se vuelva excesivamente seguro. En esos casos, el gradiente no llega a la zona en la que el redondeo lo anularía.
Pero estas técnicas tratan la consecuencia, no la causa. No corrigen el error de cálculo en sí. Además, modifican el objetivo del entrenamiento. El label smoothing hace deliberadamente que el modelo sea menos categórico, y donde importa una calibración honesta de las probabilidades, esto puede resultar perjudicial.
Qué proponen los autores
La solución resultó ser sencilla: reescribir la fórmula, es decir, cambiar el orden de las operaciones. El resultado matemático sigue siendo el mismo, pero el ordenador deja de perder los números pequeños. No hacen falta nuevas capas, otra arquitectura ni hiperparámetros adicionales. Se trata de un ajuste a nivel de implementación de la propia función.
Para los desarrolladores, de aquí se desprenden dos conclusiones prácticas:
- Si escribes tu propio kernel para softmax o cross-entropy, por ejemplo en CUDA o Triton, o entrenas un modelo con baja precisión, revisa cómo calcula las probabilidades pequeñas.
- Si usas label smoothing o temperatura por costumbre, recuerda que pueden estar enmascarando el problema numérico, no eliminándolo.
Lo que todavía no sabemos
El resumen de la investigación no incluye cifras. No está claro cuánto mejora la corrección la calidad de los modelos, en qué tareas se nota el efecto ni cómo se manifiesta en los grandes modelos de lenguaje. Es posible que los frameworks populares ya tengan en cuenta parte de estos detalles. Para estimar la ganancia real, hay que leer el artículo completo y revisar los experimentos.
Aun así, el hecho en sí es revelador. Incluso en los bloques más básicos de la IA hay lugares donde una aritmética imprecisa afecta en silencio al entrenamiento. La corrección es barata y puede afectar a casi cualquiera que entrene redes neuronales. Para quienes trabajan con entrenamiento y kernels propios, este trabajo merece al menos una lectura.
- 21 nov 2026Capitana de un equipo de natación automatizó con ChatGPT tres tareas programadas y recortó la rutina varias veces
- 21 nov 2026La red neuronal MIRA dibuja Rocket League a 20 fps, pero el ping llega a 460 ms
- 21 nov 2026Google creó una copia cerrada de internet con bancos falsos para entrenar a los agentes de IA de Chrome
- 21 nov 2026En la prueba MLPerf participan por primera vez Nvidia Rubin y TPU Ironwood: 153 sistemas
Preguntas frecuentes sobre la noticia
Dónde desaparece el gradiente?
El gradiente es la señal que indica en qué dirección y cuánto hay que ajustar los pesos. El primer error aparece cuando el modelo se vuelve demasiado seguro de la respuesta correcta. Supongamos que está seguro al 99,999999% de que en la foto hay un gato. Sobre el papel, todavía le falta un poquito para llegar al ideal, así que el gradiente sigue siendo diminuto pero no nulo. Sin embargo, el ordenador lo redondea a cero antes de tiempo: para él la confianza ya es igual a uno y no hay nada que aprender.
¿Qué se sabe sobre Hasta qué punto es grave?
Los propios investigadores subrayan que la situación no es tan dramática como podría parecer. Técnicas conocidas ya protegen en parte frente al primer problema. El label smoothing impide que la respuesta correcta tenga una confianza del 100%. La temperatura baja también evita que el modelo se vuelva excesivamente seguro. En esos casos, el gradiente no llega a la zona en la que el redondeo lo anularía. Pero estas técnicas tratan la consecuencia, no la causa. No corrigen el error de cálculo en sí.
¿Qué se sabe sobre Qué proponen los autores?
La solución resultó ser sencilla: reescribir la fórmula, es decir, cambiar el orden de las operaciones. El resultado matemático sigue siendo el mismo, pero el ordenador deja de perder los números pequeños. No hacen falta nuevas capas, otra arquitectura ni hiperparámetros adicionales. Se trata de un ajuste a nivel de implementación de la propia función.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.