Together AI: GPT-5.5, Gemini y Opus no saben escribir kernels multi-GPU rápidos
Together AI ha lanzado ParallelKernelBench, un benchmark de 87 tareas de generación de kernels CUDA para sistemas multi-GPU, extraídas de bases de código reales. Los mejores modelos, GPT-5.5, Gemini 3 Pro y Opus 4.7, resolvieron correctamente menos de un tercio de las tareas. Aun así, varios kernels generados superaron a todas las implementaciones disponibles públicamente, incluido el ciclo de entrenamiento GRPO de NeMo-RL, para el que no existía ningún código público optimizado.
Procesado por IA desde Together AI Blog; editado por Hamidun News
Together AI ha publicado ParallelKernelBench (PKB), el primer benchmark abierto que evalúa la capacidad de los modelos de lenguaje para generar kernels CUDA eficientes para entornos multi-GPU. Tras probar más de 40 modelos en 87 tareas reales, los investigadores concluyeron que los mejores modelos de frontera resuelven correctamente menos de un tercio de las tareas, y solo unos pocos de esos resultados superan de verdad una implementación ingenua en PyTorch.
Por qué multi-GPU es más difícil
Los modelos de lenguaje ya escriben bastante bien código para una sola GPU, y la mayoría de los benchmarks de programación de GPU existentes se limitan a ese escenario. Pero los sistemas de IA en producción superaron ese límite hace tiempo: funcionan con decenas o cientos de GPU a la vez. En esas configuraciones, la potencia de cálculo deja de ser el principal cuello de botella; lo pasa a ser la comunicación entre dispositivos.
Según Together AI, la sobrecarga de transferir datos entre GPU consume más del 20% de la latencia durante la inferencia, y esa brecha seguirá creciendo porque la potencia de los chips sigue superando el ancho de banda de la interconexión entre chips.
La generación para multi-GPU se diferencia de la de una sola GPU por tres razones:
- Explosión combinatoria de opciones: hay que elegir entre paralelismo tensorial, de contexto, de expertos, de datos y otros, y cada uno crea su propio patrón de comunicación
- Otro modelo de rendimiento: en lugar del roofline de cómputo local, el límite principal pasa a ser el ancho de banda de la interconexión entre chips
- Una nueva decisión de arquitectura: cómo mover físicamente los datos entre GPU (mediante copy engine, TMA, SM load/store o NVLS) y si conviene solapar la transferencia con el cálculo
Cómo funciona el benchmark
PKB incluye 87 tareas de bases de código reales (Megatron-LM, DeepSpeed, DeepEP, TensorRT-LLM y NeMo-RL), además de cargas distribuidas poco habituales: enrutamiento en redes neuronales de grafos, FFT distribuida y Gaussian splatting. Esta selección abarca los principales tipos de sharding: tensorial, de contexto, de datos, de expertos, secuencial y FSDP/ZeRO.
Cada tarea parte de una implementación estándar en PyTorch + NCCL y de una descripción de la topología del hardware. El modelo debe sustituirla por su propio kernel CUDA, que transfiera datos directamente entre GPU por NVLink mediante memoria simétrica, sin pasar por la pila estándar de operaciones colectivas.
La evaluación se basa en tres criterios: corrección del resultado, aceleración en tiempo real (wall-clock) y alcance del communication roofline, el límite teórico del ancho de banda de la interconexión.
Resultados y victorias inesperadas
Together AI probó más de 40 modelos, entre ellos GPT-5.5, Gemini 3 Pro y Opus 4.7, los modelos insignia actuales de OpenAI, Google y Anthropic. Los resultados fueron igual de decepcionantes para todos:
- El mejor modelo resolvió correctamente menos de un tercio de las 87 tareas
- Menos de una cuarta parte de las soluciones correctas superó la implementación base ingenua en PyTorch + NCCL
- Los fallos principales estuvieron en la gestión de la comunicación entre GPU y en la elección del método correcto de transferencia de datos
Aun así, algunas soluciones resultaron inesperadamente buenas: ciertos kernels generados superaron a todas las implementaciones disponibles públicamente. El caso más llamativo es el entrenamiento GRPO en NVIDIA NeMo-RL: hasta ahora no existía código público optimizado para esta operación, y un modelo de lenguaje lo escribió antes que los humanos.
«Varios kernels generados resultaron más rápidos que cualquier cosa disponible en abierto», según el informe técnico de ParallelKernelBench.
Qué significa
PKB señala la siguiente frontera del código asistido por IA: el paso de una GPU aislada a sistemas distribuidos multi-GPU. Por ahora los modelos de frontera no lo logran, pero los escasos destellos de éxito sugieren que el progreso es posible si se recopilan datos de entrenamiento especializados de forma dirigida.
Para los equipos que optimizan inferencia y entrenamiento en clústeres de GPU, es una referencia importante: la herramienta madura, pero aún no está lista para un uso generalizado.
- 19 nov 2026Q.ANT y AMD ejecutan un LLM de 1 mil millones de parámetros con un chip óptico en lugar de la atención
- 19 nov 2026La palabra «videojuego» elevó la disposición de GPT-6 Astra a elegir objetivos del 6% al 92%
- 19 nov 2026AWS añade a SageMaker un ranking de más de 70 modelos: calidad, velocidad y precio en una sola tabla
- 19 nov 2026Rubin ofrece 50 PFLOPS por chip y TPU 8t, 12,6, pero Google gana por escala
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué multi-GPU es más difícil?
Los modelos de lenguaje ya escriben bastante bien código para una sola GPU, y la mayoría de los benchmarks de programación de GPU existentes se limitan a ese escenario. Pero los sistemas de IA en producción superaron ese límite hace tiempo: funcionan con decenas o cientos de GPU a la vez. En esas configuraciones, la potencia de cálculo deja de ser el principal cuello de botella; lo pasa a ser la comunicación entre dispositivos.
Cómo funciona el benchmark?
PKB incluye 87 tareas de bases de código reales (Megatron-LM, DeepSpeed, DeepEP, TensorRT-LLM y NeMo-RL), además de cargas distribuidas poco habituales: enrutamiento en redes neuronales de grafos, FFT distribuida y Gaussian splatting. Esta selección abarca los principales tipos de sharding: tensorial, de contexto, de datos, de expertos, secuencial y FSDP/ZeRO. Cada tarea parte de una implementación estándar en PyTorch + NCCL y de una descripción de la topología del hardware.
¿Qué se sabe sobre Resultados y victorias inesperadas?
Together AI probó más de 40 modelos, entre ellos GPT-5.5, Gemini 3 Pro y Opus 4.7, los modelos insignia actuales de OpenAI, Google y Anthropic. Los resultados fueron igual de decepcionantes para todos: El mejor modelo resolvió correctamente menos de un tercio de las 87 tareas Menos de una cuarta parte de las soluciones correctas superó la implementación base ingenua en PyTorch + NCCL Los fallos principales estuvieron en la gestión de la comunicación entre GPU y en la elección del método correcto…
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.