Stanford presenta Onyx, un chip para IA dispersa más rápido que una CPU y 70 veces más eficiente

Investigadores de Stanford han presentado Onyx, un acelerador capaz de sacar partido de los «ceros» dentro de los modelos de IA. La idea es no gastar energía en multiplicaciones y sumas que de antemano no cambian nada y, así, acelerar el cálculo sin renunciar a los modelos grandes.

Por qué importan los ceros

En las redes neuronales, los datos, los pesos y las activaciones se almacenan como arreglos de números: vectores, matrices y tensores. En muchos casos, una parte considerable de esos números es cero o está tan cerca de cero que puede tratarse como tal sin una pérdida apreciable de calidad. Esta propiedad se llama dispersión (sparsity).

Si los ceros son más de la mitad, el modelo ya puede beneficiarse de algoritmos especiales: en lugar de almacenar y procesar toda la matriz, el sistema guarda solo los valores útiles y omite las operaciones vacías.

Para la industria esto importa porque los modelos crecen más rápido de lo que se abarata la infraestructura. Más parámetros implican mayor calidad, pero también un coste más alto de ejecución en tiempo, energía y huella de carbono. El artículo cita el ejemplo de Meta Llama con 2 billones de parámetros. Los investigadores recuerdan además los resultados de Cerebras: en Llama 7B se logró poner a cero entre el 70 y el 80 por ciento de los parámetros sin perder precisión. Es decir, dentro de los modelos grandes ya hay una reserva de aceleración; solo falta aprender a aprovecharla.

Dónde se pierde la eficiencia

El problema es que el hardware popular se diseñó originalmente para cómputo denso, no para estructuras dispersas. Cuando los datos se comprimen, junto con los valores distintos de cero hay que almacenar metadatos: índices de filas, columnas y segmentos. El acceso a esos datos se vuelve indirecto e impredecible: el procesador primero debe buscar las coordenadas y solo después el valor. Como resultado, parte del tiempo no se dedica a las matemáticas, sino a deambular por la memoria y a operaciones de servicio.

• Las GPU manejan muy bien las matrices densas, pero con dispersión aleatoria a menudo paralelizan operaciones inútiles con ceros.
• La dispersión estructurada no siempre ayuda, porque exige un patrón rígido de puesta a cero, por ejemplo dos ceros de cada cuatro parámetros contiguos.
• Las CPU son más flexibles, pero a menudo chocan con fallos del prefetcher y accesos impredecibles a memoria.
• Incluso las bibliotecas sparse no reducen toda la sobrecarga, porque parte de los recursos se va en gestionar los propios datos.

Los fabricantes ya buscan atajos, pero por ahora son puntuales. Apple aceleró los accesos indirectos a memoria en los chips A14 y M1, Cerebras impulsa el enfoque sparse en su Wafer Scale Engine y Meta desarrolla MTIA. Pero también aquí hay límites: unas soluciones solo funcionan con dispersión de pesos, otras solo dan soporte a operaciones concretas, como la multiplicación de matrices. Para cargas de IA reales eso no basta, porque los modelos no constan de una sola operación, sino de una larga cadena de capas y transformaciones distintas.

Cómo funciona Onyx

El equipo de Stanford partió del nivel más bajo y creó Onyx, un acelerador programable que trabaja igual de bien con cómputo disperso y denso. Se basa en una arquitectura CGRA, una opción intermedia entre una CPU y una FPGA: es claramente más flexible que un procesador clásico, pero más eficiente que los circuitos totalmente configurables a nivel de bit.

Onyx se compone de bloques de cálculo y bloques de memoria que almacenan matrices comprimidas y las procesan directamente en ese formato, sin expandirlas de nuevo a formato denso salvo que sea necesario. El compilador es igualmente importante: traduce expresiones como la multiplicación de una matriz dispersa por un vector a un grafo de memoria y cálculo, y luego lo distribuye entre los bloques del chip.

Según Stanford, Onyx consumió en promedio 70 veces menos energía que una CPU y ejecutó los cálculos aproximadamente 8 veces más rápido. En la métrica energy-delay product, la ventaja llegó a 565 veces frente a un Intel Xeon de 12 núcleos con bibliotecas sparse. La próxima generación de Onyx debería añadir soporte para capas no lineales, normalización, softmax y un cambio más cómodo entre los modos sparse y dense.

Qué significa

La idea central del artículo no es que haya aparecido otro chip de IA, sino que los desarrolladores empiezan a optimizar los modelos no solo con menor precisión o menor tamaño, sino también mediante la estructura de los propios cálculos. Si el enfoque de la dispersión se consolida, los modelos grandes podrán ejecutarse de forma más barata y rápida, así que el próximo salto en IA podría venir no solo de nuevos modelos, sino de una nueva clase de hardware.

*Meta está reconocida como organización extremista y prohibida en la Federación Rusa.