Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)

DeepMind encuentra dos errores de redondeo en softmax: el gradiente se anula antes de tiempo

Google DeepMind ha encontrado dos errores de redondeo en softmax y cross-entropy, las funciones sobre las que aprende casi cualquier red neuronal. Si el modelo está casi al 100% seguro de su respuesta, el ordenador anula un gradiente diminuto (el ajuste de los pesos), aunque sobre el papel no sea nulo. El segundo error aparece durante la destilación, cuando un modelo pequeño copia a uno grande. La solución consiste en reordenar las operaciones de la fórmula: las matemáticas siguen siendo las mismas, pero los números pequeños no se pierden.

Procesado por IA desde TG: @mishin_learning (Мишин Лернинг); editado por Hamidun News
DeepMind encuentra dos errores de redondeo en softmax: el gradiente se anula antes de tiempo
Fuente: TG: @mishin_learning (Мишин Лернинг). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @mishin_learning (Мишин Лернинг) ↗
Editor jefe
Dato clave #1El label smoothing y la temperatura baja mitigan el primer error, pero no corrigen el cálculo
Dato clave #2El segundo error se ve incluso cuando el alumno repite a la perfección al maestro
Dato clave #3No hacen falta nuevas capas ni hiperparámetros: solo cambia el orden de las operaciones

Softmax y cross-entropy están presentes en casi todas las redes neuronales, desde los clasificadores de imágenes hasta los grandes modelos de lenguaje. Softmax convierte las puntuaciones «brutas» del modelo en probabilidades, y cross-entropy compara esas probabilidades con la respuesta correcta y calcula el error. Ambas funciones se consideran tan básicas y «resueltas» que casi nadie les presta atención. Los investigadores de Google DeepMind sí lo hicieron y encontraron dos errores numéricos que pueden hacer que el entrenamiento no salga como se espera. El trabajo se titula «A Fix for Softmax and Cross-Entropy» y se ha publicado en arXiv.

Una advertencia importante: el error no está en las matemáticas. Las fórmulas son correctas. El problema está en cómo las calcula el ordenador. Los números de punto flotante se almacenan con precisión limitada, y los valores muy pequeños simplemente se pierden.

Dónde desaparece el gradiente

El gradiente es la señal que indica en qué dirección y cuánto hay que ajustar los pesos. El primer error aparece cuando el modelo se vuelve demasiado seguro de la respuesta correcta. Supongamos que está seguro al 99,999999% de que en la foto hay un gato. Sobre el papel, todavía le falta un poquito para llegar al ideal, así que el gradiente sigue siendo diminuto pero no nulo. Sin embargo, el ordenador lo redondea a cero antes de tiempo: para él la confianza ya es igual a uno y no hay nada que aprender.

Lo más fácil es imaginar una caja registradora que descarta todo lo que es menor que un céntimo. Una sola compra no cambia nada. Pero el entrenamiento consta de millones de pasos, y una parte de la señal útil desaparece en cada uno de ellos.

El segundo error aparece durante la destilación, el proceso en el que un modelo pequeño, el alumno, repite las respuestas de un modelo grande, el maestro. Según describen los autores, el error numérico se manifiesta incluso cuando el alumno repite a la perfección al maestro. El objetivo ya se ha alcanzado, pero el cálculo sigue distorsionándose.

Hasta qué punto es grave

Los propios investigadores subrayan que la situación no es tan dramática como podría parecer. Técnicas conocidas ya protegen en parte frente al primer problema. El label smoothing impide que la respuesta correcta tenga una confianza del 100%. La temperatura baja también evita que el modelo se vuelva excesivamente seguro. En esos casos, el gradiente no llega a la zona en la que el redondeo lo anularía.

Pero estas técnicas tratan la consecuencia, no la causa. No corrigen el error de cálculo en sí. Además, modifican el objetivo del entrenamiento. El label smoothing hace deliberadamente que el modelo sea menos categórico, y donde importa una calibración honesta de las probabilidades, esto puede resultar perjudicial.

Qué proponen los autores

La solución resultó ser sencilla: reescribir la fórmula, es decir, cambiar el orden de las operaciones. El resultado matemático sigue siendo el mismo, pero el ordenador deja de perder los números pequeños. No hacen falta nuevas capas, otra arquitectura ni hiperparámetros adicionales. Se trata de un ajuste a nivel de implementación de la propia función.

Para los desarrolladores, de aquí se desprenden dos conclusiones prácticas:

  • Si escribes tu propio kernel para softmax o cross-entropy, por ejemplo en CUDA o Triton, o entrenas un modelo con baja precisión, revisa cómo calcula las probabilidades pequeñas.
  • Si usas label smoothing o temperatura por costumbre, recuerda que pueden estar enmascarando el problema numérico, no eliminándolo.

Lo que todavía no sabemos

El resumen de la investigación no incluye cifras. No está claro cuánto mejora la corrección la calidad de los modelos, en qué tareas se nota el efecto ni cómo se manifiesta en los grandes modelos de lenguaje. Es posible que los frameworks populares ya tengan en cuenta parte de estos detalles. Para estimar la ganancia real, hay que leer el artículo completo y revisar los experimentos.

Aun así, el hecho en sí es revelador. Incluso en los bloques más básicos de la IA hay lugares donde una aritmética imprecisa afecta en silencio al entrenamiento. La corrección es barata y puede afectar a casi cualquiera que entrene redes neuronales. Para quienes trabajan con entrenamiento y kernels propios, este trabajo merece al menos una lectura.

Historia

Preguntas frecuentes sobre la noticia

Dónde desaparece el gradiente?

El gradiente es la señal que indica en qué dirección y cuánto hay que ajustar los pesos. El primer error aparece cuando el modelo se vuelve demasiado seguro de la respuesta correcta. Supongamos que está seguro al 99,999999% de que en la foto hay un gato. Sobre el papel, todavía le falta un poquito para llegar al ideal, así que el gradiente sigue siendo diminuto pero no nulo. Sin embargo, el ordenador lo redondea a cero antes de tiempo: para él la confianza ya es igual a uno y no hay nada que aprender.

¿Qué se sabe sobre Hasta qué punto es grave?

Los propios investigadores subrayan que la situación no es tan dramática como podría parecer. Técnicas conocidas ya protegen en parte frente al primer problema. El label smoothing impide que la respuesta correcta tenga una confianza del 100%. La temperatura baja también evita que el modelo se vuelva excesivamente seguro. En esos casos, el gradiente no llega a la zona en la que el redondeo lo anularía. Pero estas técnicas tratan la consecuencia, no la causa. No corrigen el error de cálculo en sí.

¿Qué se sabe sobre Qué proponen los autores?

La solución resultó ser sencilla: reescribir la fórmula, es decir, cambiar el orden de las operaciones. El resultado matemático sigue siendo el mismo, pero el ordenador deja de perder los números pequeños. No hacen falta nuevas capas, otra arquitectura ni hiperparámetros adicionales. Se trata de un ajuste a nivel de implementación de la propia función.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…