Open source desbloquea la potencia oculta de la RTX 4090: los Tensor Core, el doble de rápidos

Una sola RTX 4090, sin cambiar nada del hardware, y el rendimiento de determinadas operaciones de Tensor Core salta de 165,6 a 331,6 TFLOPS. Es exactamente el doble. Un proyecto abierto, del que informa Jiqizhixin, llega a un margen de cómputo de las GeForce que NVIDIA no ofrece en el modo estándar. Y el driver sigue siendo el oficial.

No solo el buque insignia

Lo más relevante de la historia es que la RTX 4090 resultó ser solo el ejemplo más llamativo. El mismo enfoque extrajo rendimiento adicional de tarjetas de distintas generaciones. Entre los dispositivos probados:

• RTX 4090 (arquitectura Ada Lovelace): de 165,6 a 331,6 TFLOPS en determinadas operaciones de Tensor Core;
• RTX 4070 Ti SUPER (Ada Lovelace): se encontró margen; es una tarjeta de gama inferior de la misma generación;
• RTX 3090 Ti (Ampere): se encontró margen; es la generación anterior;
• una tarjeta gráfica de 2018, es decir, de la era Turing: el potencial se desbloqueó incluso en ella.

Que el resultado se repita en tres arquitecturas apunta a una causa sistémica. No se trata de un fallo de un chip concreto. Lo más probable es que el origen esté en cómo accede el stack de software estándar a los bloques tensoriales.

De dónde sale la mitad «extra»

Las cifras oficiales de las tarjetas de consumo de NVIDIA son conocidas. En la RTX 4090, el valor de unos 165 TFLOPS corresponde al modo de precisión mixta con acumulación en FP32. Las tarjetas profesionales con un silicio similar declaran más en ese modo. Por eso se considera desde hace tiempo que las GeForce para gaming están recortadas artificialmente en operaciones tensoriales. El método abierto demuestra que parte de ese límite se puede sortear a nivel de código de usuario, no de firmware ni de un parche del driver.

Es importante subrayar que la mejora se refiere a determinadas operaciones. No es una duplicación mágica de todo. Una carga real, como la inferencia de LLM, depende también del ancho de banda de memoria, del tamaño de la caché y de la planificación de los kernels. El pico duplicado de Tensor Core acelerará las tareas en las que el cuello de botella eran precisamente los cálculos matriciales: lotes grandes, prefill de prompts largos, entrenamiento y fine-tuning de modelos pequeños.

Qué hacer con esto en la práctica

Para los propietarios de tarjetas gaming, es una buena noticia. La RTX 4090 con 24 GB de memoria sigue siendo la tarjeta más popular para ejecutar modelos en local y experimentar, y una mejora gratuita en operaciones matriciales aumenta de inmediato su valor. Salen ganando las startups, los grupos de investigación y los entusiastas que no tienen presupuesto para una H100 o una B200.

Antes de reescribir el pipeline, conviene comprobar tres cosas:

• comparar los propios kernels y bibliotecas con lo que hace el proyecto y medir el rendimiento real en la propia carga, no solo los TFLOPS de pico;
• verificar la estabilidad: el consumo energético y la temperatura con los bloques tensoriales a plena carga son superiores a los habituales;
• seguir la respuesta de NVIDIA, ya que la compañía puede cerrar la vía en próximas versiones del driver o de CUDA.

La historia tiene además un alcance más amplio para la industria. La brecha entre los aceleradores de consumo y los de centros de datos viene determinada en buena medida por software, y la comunidad abierta sabe cómo reducirla. Si el método se consolida en los frameworks más populares, parte de las tareas que hoy van a la nube podrán calcularse en la propia tarjeta. Eso supone presión sobre los precios de NVIDIA y un argumento a favor de la inferencia local.