Los trucos matemáticos de la IA no sirven para la computación científica

La revolución de la inteligencia artificial ha cambiado cómo nos comunicamos con los ordenadores, pero también cómo calculan en el nivel más básico: el de la representación de los números. En los últimos años, la industria ha creado decenas de nuevos formatos numéricos optimizados para el aprendizaje automático. Pero al intentar aplicarlos fuera de la IA ha salido a la luz un problema de fondo: lo que funciona de maravilla en las redes neuronales resulta del todo inadecuado para la computación científica.

Durante décadas, la industria informática siguió una regla sencilla: cada número se representa con 64 bits, y eso basta y sobra para todos. Los usuarios compraban equipos nuevos cada pocos años y obtenían mejoras de rendimiento prácticamente gratis. Pero esa época terminó hace unos diez años.

La ley de Moore se ralentizó mientras el apetito de los modelos de IA crecía de forma exponencial. Las empresas empezaron a buscar cualquier manera de ahorrar recursos de cómputo y energía, y una de las más eficaces resultó ser reducir el número de bits de cada número. Si una red neuronal no necesita los 64 bits de precisión, ¿para qué gastarlos?

Así nacieron los formatos de 16, 8 e incluso 2 bits, que permiten entrenar y ejecutar modelos de forma más rápida y barata.

El problema es que el estándar IEEE 754, que define la representación de los números de coma flotante de 64 bits, escala mal hacia abajo desde su origen. Su arquitectura resulta excesiva cuando hay pocos bits, y recortarla sin más hace que se pierdan propiedades importantes. Por eso se desarrollaron formatos específicos para la IA, como bfloat16 de Google y FP8 de NVIDIA, adaptados a la distribución de valores típica de las redes neuronales. En el aprendizaje automático, los valores suelen concentrarse en torno a un rango concreto, y no hace falta una precisión altísima en los extremos.

La computación científica, en cambio, se rige por reglas muy distintas. La física computacional, la dinámica de fluidos, el modelado biológico y las simulaciones de ingeniería trabajan con números repartidos en un rango enorme, desde escalas subatómicas hasta distancias cósmicas. Y necesitan la misma precisión elevada tanto para magnitudes muy grandes como para magnitudes muy pequeñas. Esa brecha entre las necesidades de la IA y las de la ciencia fue el punto de partida del trabajo de Laslo Hunhold, que se doctoró recientemente en Informática por la Universidad de Colonia y se ha incorporado a la startup barcelonesa Openchip como ingeniero de aceleradores de IA.

Hunhold ha desarrollado un formato numérico llamado takum, basado en un formato anterior, posit. Posit reparte las representaciones de forma desigual: los valores que se usan con más frecuencia reciben más combinaciones de bits y, por tanto, mayor precisión. Para la IA funciona de maravilla, ya que posit concentra la densidad de representación en torno a la unidad, donde se agrupan los valores típicos de los pesos de las redes neuronales. Para la computación científica, sin embargo, este enfoque es catastrófico: la precisión cae en picado al pasar a números grandes o pequeños, que son precisamente los críticos para modelar procesos físicos.

Takum resuelve este problema de forma elegante. Hunhold analizó los rangos de valores reales que se usan en la computación científica en todas las disciplinas principales y diseñó el formato para que el rango dinámico no se estreche al reducir el número de bits. Esto significa que científicos e ingenieros podrían pasar a representaciones numéricas más compactas, con el consiguiente ahorro de energía y tiempo de cómputo, sin renunciar a trabajar con magnitudes extremas. Según Hunhold, incluso una ganancia del 10% en la eficiencia del formato numérico se traduce en un ahorro del 10% en todas las aplicaciones, lo que, a la escala de la capacidad de cómputo mundial, supone un ahorro de energía colosal.

La relevancia de este trabajo va mucho más allá de un ejercicio académico. A medida que los superordenadores y los clústeres de investigación consumen cada vez más electricidad, optimizar la representación de los números se convierte en una de las pocas palancas que quedan para ganar eficiencia sin ampliar el hardware. Hunhold subraya un dato llamativo: en los últimos años se han propuesto decenas de nuevos formatos numéricos, pero takum sigue siendo el único diseñado expresamente para la computación científica. Todas las demás innovaciones del sector sirven exclusivamente a la industria del aprendizaje automático.

La historia de takum recuerda que el auge de la IA, por transformador que sea, no debería eclipsar las necesidades del resto de la ciencia computacional. Las redes neuronales no son los únicos programas que necesitan eficiencia. Los físicos que modelan el clima, los ingenieros que diseñan puentes y los biólogos que simulan el plegamiento de proteínas merecen la misma innovación en la aritmética básica. Y si takum llega a adoptarse de forma generalizada, podría convertirse en esa base invisible que haga la computación científica de la próxima década más rápida, más barata y más sostenible.