DirCast dirige y comenta esports por sí solo y supera a GPT-5

Una retransmisión de esports en directo depende de dos personas: el realizador, que cada segundo decide qué pantalla sale en antena, y el comentarista (caster), que habla sobre esa elección sin saber qué ocurrirá a continuación. DirCast intenta sustituir a ambos con un único modelo de vídeo y lenguaje en streaming. El modelo recibe las cámaras en bruto de cada jugador, elige el ángulo y comenta lo que sucede, apoyándose solo en el pasado. En las pruebas con Dota 2 profesional, dirige mejor que los enfoques rule-based y que los modelos zero-shot, GPT-5 incluido, y sus comentarios ganan el 29,2% de las comparaciones frente a GPT-4o.

Un realizador que lo mira todo a la vez

Hasta ahora, los modelos de vídeo y lenguaje han aprendido a comentar, pero casi siempre sobre una retransmisión que una persona ya ha montado. El trabajo de realización queda fuera de campo: alguien ya ha elegido la cámara adecuada y al modelo solo le toca describir la imagen. Los autores de DirCast han eliminado ese apoyo. El planteamiento del problema es más duro: la entrada son las cámaras de todos los jugadores, la salida es una emisión terminada con voz, y todo ocurre en tiempo real y sin acceso a fotogramas futuros.

Este planteamiento importa porque las decisiones del realizador y del comentarista están conectadas. De lo que muestra la emisión es de lo que se habla. Si se separan en dos sistemas, el comentario puede desajustarse de la imagen. En DirCast hay un único ciclo, y la elección de cámara determina directamente lo que el modelo verá y dirá.

Panorámica barata, mirada cara

La principal idea de ingeniería está en cómo el modelo reparte el cómputo. Cada segundo revisa todas las cámaras en baja resolución, y eso basta para detectar dónde está pasando algo. Después decide si hay que cambiar de plano y a qué ángulo. Solo la cámara elegida se lee en alta resolución, antes de ponerse a hablar.

La segunda parte del diseño afecta a la memoria. El contexto guarda lo que ha salido en antena y lo que se ha dicho. El resto de ángulos desaparecen de él. Gracias a ello, el coste de procesamiento queda acotado y el stream puede durar lo que haga falta: el contexto no se infla con el paso del partido. Para la emisión en directo es una condición fundamental, porque los torneos de Dota 2 duran horas.

Datos y resultados

Para entrenar y evaluar el modelo, los autores reunieron un dataset de 27 partidos profesionales de Dota 2. Incluye una cámara por cada héroe, las decisiones reales del realizador humano y los comentarios de los casters. Es un material poco habitual: normalmente solo está disponible en abierto la emisión final, no todos los ángulos «en bruto».

Principales datos del trabajo:

• Tarea: dirigir y comentar un stream a la vez, usando solo el contexto pasado
• Datos: 27 partidos profesionales de Dota 2, una cámara por héroe, más la elección del realizador humano y la voz de los casters
• Modo de funcionamiento: revisión cada segundo de todas las cámaras en baja resolución, decisión de cambiar de plano y lectura del ángulo elegido en alta resolución
• Memoria: se conservan la emisión y lo dicho, el resto de vistas se descarta, por lo que el coste está acotado para un stream de cualquier duración
• Realización: DirCast supera a los enfoques rule-based y a los modelos zero-shot, GPT-5 incluido
• Comentarios: 29,2% de comparaciones ganadas frente a GPT-4o
• Línea base: el mejor de los once comentaristas en streaming, que veían la retransmisión humana, obtuvo el 19,4%

Esta última comparación es reveladora. Los rivales veían una emisión ya montada por un realizador profesional, es decir, tenían una pista ya hecha sobre qué es importante. DirCast no contaba con esa pista y aun así quedó por delante por diez puntos porcentuales.

Dónde puede resultar útil

La aplicación directa está en las retransmisiones de nicho. La mayoría de las disciplinas de esports y de los torneos amateur no tienen presupuesto para un realizador y comentaristas, y el stream suele salir desde un solo jugador o directamente sin comentarios. Un modelo que recibe las cámaras de los participantes y entrega una emisión completa reduce la barrera de entrada para esos eventos. Para los grandes organizadores, es una posible fuente de streams adicionales: emisiones alternativas con comentario automático en distintos idiomas o centradas en un jugador concreto.

Para los desarrolladores, lo útil es el propio principio. Una panorámica barata de todas las entradas, la lectura cara de solo una de ellas y un contexto que olvida lo superfluo sirven para cualquier tarea con varias cámaras: retransmisiones deportivas, videovigilancia, robots con un conjunto de sensores. La salvedad es evidente: la evaluación se hizo con un solo juego, Dota 2, y comparando con modelos, no con espectadores reales. La siguiente cuestión es si el enfoque se trasladará a disciplinas con otra dinámica y si una emisión así convencerá a una audiencia real.