Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
InfraestructuraPaper científico · Para I+DTogether AI Blog→ original

Together AI: GPT-5.5, Gemini y Opus no saben escribir kernels multi-GPU rápidos

Together AI ha lanzado ParallelKernelBench, un benchmark de 87 tareas de generación de kernels CUDA para sistemas multi-GPU, extraídas de bases de código reales. Los mejores modelos, GPT-5.5, Gemini 3 Pro y Opus 4.7, resolvieron correctamente menos de un tercio de las tareas. Aun así, varios kernels generados superaron a todas las implementaciones disponibles públicamente, incluido el ciclo de entrenamiento GRPO de NeMo-RL, para el que no existía ningún código público optimizado.

Procesado por IA desde Together AI Blog; editado por Hamidun News
Together AI: GPT-5.5, Gemini y Opus no saben escribir kernels multi-GPU rápidos
Fuente: Together AI Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTogether AI Blog ↗
Editor jefe
Otro modelo de rendimientoen lugar del roofline de cómputo local, el límite principal pasa a ser el ancho de banda de la interconexión entre chips
Dato clave #2El mejor modelo resolvió correctamente menos de un tercio de las 87 tareas
Dato clave #3Menos de una cuarta parte de las soluciones correctas superó la implementación base ingenua en PyTorch + NCCL

Together AI ha publicado ParallelKernelBench (PKB), el primer benchmark abierto que evalúa la capacidad de los modelos de lenguaje para generar kernels CUDA eficientes para entornos multi-GPU. Tras probar más de 40 modelos en 87 tareas reales, los investigadores concluyeron que los mejores modelos de frontera resuelven correctamente menos de un tercio de las tareas, y solo unos pocos de esos resultados superan de verdad una implementación ingenua en PyTorch.

Por qué multi-GPU es más difícil

Los modelos de lenguaje ya escriben bastante bien código para una sola GPU, y la mayoría de los benchmarks de programación de GPU existentes se limitan a ese escenario. Pero los sistemas de IA en producción superaron ese límite hace tiempo: funcionan con decenas o cientos de GPU a la vez. En esas configuraciones, la potencia de cálculo deja de ser el principal cuello de botella; lo pasa a ser la comunicación entre dispositivos.

Según Together AI, la sobrecarga de transferir datos entre GPU consume más del 20% de la latencia durante la inferencia, y esa brecha seguirá creciendo porque la potencia de los chips sigue superando el ancho de banda de la interconexión entre chips.

La generación para multi-GPU se diferencia de la de una sola GPU por tres razones:

  • Explosión combinatoria de opciones: hay que elegir entre paralelismo tensorial, de contexto, de expertos, de datos y otros, y cada uno crea su propio patrón de comunicación
  • Otro modelo de rendimiento: en lugar del roofline de cómputo local, el límite principal pasa a ser el ancho de banda de la interconexión entre chips
  • Una nueva decisión de arquitectura: cómo mover físicamente los datos entre GPU (mediante copy engine, TMA, SM load/store o NVLS) y si conviene solapar la transferencia con el cálculo

Cómo funciona el benchmark

PKB incluye 87 tareas de bases de código reales (Megatron-LM, DeepSpeed, DeepEP, TensorRT-LLM y NeMo-RL), además de cargas distribuidas poco habituales: enrutamiento en redes neuronales de grafos, FFT distribuida y Gaussian splatting. Esta selección abarca los principales tipos de sharding: tensorial, de contexto, de datos, de expertos, secuencial y FSDP/ZeRO.

Cada tarea parte de una implementación estándar en PyTorch + NCCL y de una descripción de la topología del hardware. El modelo debe sustituirla por su propio kernel CUDA, que transfiera datos directamente entre GPU por NVLink mediante memoria simétrica, sin pasar por la pila estándar de operaciones colectivas.

La evaluación se basa en tres criterios: corrección del resultado, aceleración en tiempo real (wall-clock) y alcance del communication roofline, el límite teórico del ancho de banda de la interconexión.

Resultados y victorias inesperadas

Together AI probó más de 40 modelos, entre ellos GPT-5.5, Gemini 3 Pro y Opus 4.7, los modelos insignia actuales de OpenAI, Google y Anthropic. Los resultados fueron igual de decepcionantes para todos:

  • El mejor modelo resolvió correctamente menos de un tercio de las 87 tareas
  • Menos de una cuarta parte de las soluciones correctas superó la implementación base ingenua en PyTorch + NCCL
  • Los fallos principales estuvieron en la gestión de la comunicación entre GPU y en la elección del método correcto de transferencia de datos

Aun así, algunas soluciones resultaron inesperadamente buenas: ciertos kernels generados superaron a todas las implementaciones disponibles públicamente. El caso más llamativo es el entrenamiento GRPO en NVIDIA NeMo-RL: hasta ahora no existía código público optimizado para esta operación, y un modelo de lenguaje lo escribió antes que los humanos.

«Varios kernels generados resultaron más rápidos que cualquier cosa disponible en abierto», según el informe técnico de ParallelKernelBench.

Qué significa

PKB señala la siguiente frontera del código asistido por IA: el paso de una GPU aislada a sistemas distribuidos multi-GPU. Por ahora los modelos de frontera no lo logran, pero los escasos destellos de éxito sugieren que el progreso es posible si se recopilan datos de entrenamiento especializados de forma dirigida.

Para los equipos que optimizan inferencia y entrenamiento en clústeres de GPU, es una referencia importante: la herramienta madura, pero aún no está lista para un uso generalizado.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué multi-GPU es más difícil?

Los modelos de lenguaje ya escriben bastante bien código para una sola GPU, y la mayoría de los benchmarks de programación de GPU existentes se limitan a ese escenario. Pero los sistemas de IA en producción superaron ese límite hace tiempo: funcionan con decenas o cientos de GPU a la vez. En esas configuraciones, la potencia de cálculo deja de ser el principal cuello de botella; lo pasa a ser la comunicación entre dispositivos.

Cómo funciona el benchmark?

PKB incluye 87 tareas de bases de código reales (Megatron-LM, DeepSpeed, DeepEP, TensorRT-LLM y NeMo-RL), además de cargas distribuidas poco habituales: enrutamiento en redes neuronales de grafos, FFT distribuida y Gaussian splatting. Esta selección abarca los principales tipos de sharding: tensorial, de contexto, de datos, de expertos, secuencial y FSDP/ZeRO. Cada tarea parte de una implementación estándar en PyTorch + NCCL y de una descripción de la topología del hardware.

¿Qué se sabe sobre Resultados y victorias inesperadas?

Together AI probó más de 40 modelos, entre ellos GPT-5.5, Gemini 3 Pro y Opus 4.7, los modelos insignia actuales de OpenAI, Google y Anthropic. Los resultados fueron igual de decepcionantes para todos: El mejor modelo resolvió correctamente menos de un tercio de las 87 tareas Menos de una cuarta parte de las soluciones correctas superó la implementación base ingenua en PyTorch + NCCL Los fallos principales estuvieron en la gestión de la comunicación entre GPU y en la elección del método correcto…

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…