Together AI logra un entrenamiento un 90 % más rápido en NVIDIA Blackwell

Together AI ha anunciado acceso inmediato a clústeres de GPU acelerados con NVIDIA Blackwell y ha presentado su propia pila de optimización, adaptada específicamente a la nueva arquitectura de hardware para redes neuronales.

Resultados: 90 % más rápido que H100

En las pruebas con un modelo Llama de 70.000 millones de parámetros, el equipo de Together AI alcanzó 15,264 tokens por segundo en una sola GPU. Es casi el doble del resultado de la generación anterior, NVIDIA HGX H100, que en una configuración optimizada procesaba 8,080 tokens por segundo.

Los resultados se lograron con una versión optimizada de TorchTitan combinada con Together Kernel Collection, la colección propia de núcleos optimizados de la empresa. Como contexto: se trata de precisión BF16 (Brain Float 16, un compromiso entre velocidad y exactitud que hoy es el estándar para entrenar modelos grandes). Según la compañía, la velocidad seguirá aumentando con optimizaciones adicionales que aún están en desarrollo.

Cómo funciona: optimización a nivel de arquitectura

La aceleración fue posible gracias a una optimización profunda para una arquitectura de GPU concreta. Together AI desarrolló varios componentes que aprovechan al máximo las capacidades de NVIDIA Blackwell:

• Núcleos FP8 personalizados que funcionan con los Tensor Cores NVIDIA de quinta generación (unidades de cálculo de alto rendimiento)
• Núcleos de atención que van 1,8 veces más rápido que FlashAttention-3 (el estándar actual del mecanismo de atención optimizado)
• Integración con la biblioteca abierta ThunderKittens para aprovechar por completo la memoria dedicada del chip
• Algoritmos de entrenamiento distribuido adaptados a la topología de la red Quantum-2 InfiniBand

Tri Dao, científico jefe de Together AI y creador de FlashAttention, señaló: «Optimizamos cada capa de la pila de IA para aprovechar al máximo los avances de la arquitectura de GPU. Nos gustan especialmente los nuevos Tensor Cores y el formato de microescalado para acelerar la inferencia. La combinación de Together Kernel Collection con NVIDIA Blackwell redefine los estándares de entrenamiento e inferencia eficientes a escala».

Programa de pruebas y escalado

Dentro de un programa de lanzamiento exclusivo, Together AI invita a ocho empresas pioneras de IA a acceder directamente a nodos HGX B200 dedicados y a colaborar con ingenieros de NVIDIA e investigadores de Together AI. El objetivo es acelerar juntos las cargas de trabajo y encontrar más optimizaciones.

Al mismo tiempo, la compañía despliega decenas de miles de servidores HGX B200 y soluciones GB200 NVL72 de rack completo con redes NVIDIA Quantum-2 InfiniBand. Esto incluye el clúster de más de 36,000 GPU anunciado antes para entrenar modelos de nueva generación y agentes.

Qué significa

Para las empresas de IA, el resultado es práctico: entrenar modelos grandes será más barato y rápido. Con un 90 % más de velocidad, los modelos que antes requerían semanas ahora se entrenan en días. Eso reduce de forma notable el gasto de capital en cómputo y acelera el ciclo de experimentación con nuevas arquitecturas.

Para el mercado en general, es una señal: la era de los servicios de GPU genéricos se acaba. Las empresas de IA que escriben sus propios núcleos optimizados para una arquitectura concreta (como Together AI con ThunderKittens) obtienen una ventaja competitiva en velocidad y coste. Y eso influye directamente en el precio del entrenamiento y, en última instancia, en el de los servicios de IA para los usuarios finales.