Los trucos matemáticos de la AI son inútiles para la computación científica

La revolución de la inteligencia artificial cambió no solo cómo nos comunicamos con las computadoras, sino también cómo las computadoras calculan en el nivel más fundamental: el nivel de la representación de números. En los últimos años, la industria ha generado docenas de nuevos formatos numéricos optimizados para tareas de aprendizaje automático. Pero los intentos de aplicar estos formatos fuera del ámbito de la IA expusieron un problema fundamental: lo que funciona perfectamente para redes neuronales resulta ser completamente inadecuado para cálculos científicos.

Durante décadas, la industria informática vivió por una regla simple: cada número se representa mediante 64 bits, y eso era más que suficiente. Los usuarios compraban nuevas máquinas cada pocos años y obtenían mejoras de rendimiento, esencialmente de forma gratuita. Pero hace aproximadamente diez años, esa era terminó.

La Ley de Moore se desaceleró, mientras que el apetito de los modelos de IA creció exponencialmente. Las empresas comenzaron a buscar cualquier forma de ahorrar recursos computacionales y energía, y una de las más efectivas resultó ser la reducción del ancho de bit de los números. Si las redes neuronales no necesitan los 64 bits completos de precisión, ¿por qué desperdiciarlos?

Así surgieron formatos de 16, 8 e incluso 2 bits, que permiten entrenar y ejecutar modelos más rápido y más barato.

El problema es que el estándar IEEE 754, que define la representación de números de punto flotante de 64 bits, es inherentemente malo para escalar a anchos de bit menores. Su arquitectura es redundante para pequeñas cantidades de bits, y el truncamiento directo conduce a la pérdida de propiedades importantes. Por lo tanto, se desarrollaron formatos especializados como el bfloat16 de Google y el FP8 de NVIDIA para IA, diseñados para la distribución de números típica de redes neuronales. En el aprendizaje automático, los valores generalmente se concentran alrededor de un rango específico, y la precisión ultra alta en los extremos no es necesaria.

Pero la computación científica vive por reglas completamente diferentes. La física computacional, la hidrodinámica, la modelización biológica y las simulaciones de ingeniería operan con números dispersos en un rango gigantesco: desde escalas subatómicas hasta distancias cósmicas. Y se requiere la misma alta precisión tanto para cantidades muy grandes como muy pequeñas. Fue precisamente esta brecha entre las necesidades de la IA y la ciencia la que se convirtió en el punto de partida para el trabajo de László Hunhólz, quien recientemente defendió una tesis doctoral en informática en la Universidad de Colonia y se unió a la startup de Barcelona Openchip como ingeniero de aceleradores de IA.

Hunhólz desarrolló un formato numérico llamado takum, basado en el formato posit anterior. Posit distribuye las representaciones de números de manera desigual: los valores que se utilizan más frecuentemente reciben más combinaciones de bits y, en consecuencia, mayor precisión. Para la IA, esto funciona maravillosamente: posit concentra la densidad de representación alrededor de la unidad, donde se concentran los valores típicos de los pesos de las redes neuronales. Pero para la computación científica, este enfoque es catastrófico: la precisión cae drásticamente al pasar a números grandes o pequeños, y son precisamente estos los que son críticos para modelar procesos físicos.

Takum resuelve este problema elegantemente. Hunhólz analizó los rangos reales de valores utilizados en computación científica en todas las disciplinas principales y diseñó el formato de tal forma que, a medida que disminuye el número de bits, el rango dinámico no se reduce. Esto significa que científicos e ingenieros podrían potencialmente cambiar a representaciones de números más compactas, ahorrando energía y tiempo computacional sin sacrificar la capacidad de trabajar con magnitudes extremas. Según Hunhólz, incluso una ganancia del diez por ciento en la eficiencia del formato numérico se traduce en un ahorro del diez por ciento para todas las aplicaciones, lo que en la escala del poder computacional global significa un ahorro de energía colosal.

La importancia de este trabajo va mucho más allá de un ejercicio académico. A medida que las supercomputadoras y los clusters de investigación consumen cada vez más electricidad, la optimización a nivel de representación de números se convierte en una de las pocas palancas restantes para mejorar la eficiencia sin aumentar la capacidad de hardware. Notablemente, Hunhólz señala: en los últimos años, se han propuesto docenas de nuevos formatos numéricos, pero takum sigue siendo el único diseñado deliberadamente específicamente para computación científica. Todas las demás innovaciones en este campo sirven exclusivamente a la industria del aprendizaje automático.

La historia de takum es un recordatorio de que el auge de la IA, a pesar de todo su poder transformador, no debe eclipsar las necesidades del resto de la ciencia computacional. Las redes neuronales no son los únicos programas que necesitan eficiencia. Los físicos que modelan el clima, los ingenieros que diseñan puentes y los biólogos que simulan el plegamiento de proteínas merecen las mismas innovaciones en aritmética básica. Y si el formato takum gana una adopción generalizada, podría convertirse en ese fundamento invisible sobre el cual la computación científica de la próxima década sea más rápida, más barata y más ecológica.