DirCast réalise et commente seul des matchs d'esport, et devance GPT-5

Une retransmission d'esport en direct repose sur deux personnes : le réalisateur, qui décide chaque seconde quel écran part à l'antenne, et le caster, qui parle par-dessus ce choix sans savoir ce qui va se passer ensuite. DirCast tente de remplacer les deux par un seul modèle vidéo-langage en streaming. Il reçoit les caméras brutes de chaque joueur, choisit lui-même l'angle et commente l'action, en s'appuyant uniquement sur le passé. Lors des tests sur du Dota 2 professionnel, le modèle réalise mieux que les approches rule-based et les modèles zero-shot, GPT-5 compris, et ses commentaires l'emportent face à GPT-4o dans 29,2% des comparaisons.

Un réalisateur qui regarde tout en même temps

Jusqu'ici, les modèles vidéo-langage ont appris à commenter, mais presque toujours par-dessus une retransmission déjà montée par un humain. Le travail de réalisation reste hors champ : quelqu'un a déjà choisi la bonne caméra, et le modèle n'a plus qu'à décrire l'image. Les auteurs de DirCast ont supprimé cette béquille. Leur énoncé du problème est plus strict : en entrée, les caméras de tous les joueurs ; en sortie, une retransmission prête à diffuser, voix comprise, le tout en temps réel et sans accès aux images futures.

Cette formulation compte, car les décisions du réalisateur et du caster sont liées. Le commentaire suit l'image à l'antenne. Si l'on confie ces deux rôles à deux systèmes distincts, le commentaire risque de s'écarter de ce qui est montré. Dans DirCast, il n'y a qu'une seule boucle, et le choix de la caméra détermine directement ce que le modèle voit et dit.

Un survol bon marché, un regard coûteux

L'idée d'ingénierie centrale tient à la façon dont le modèle répartit le calcul. Chaque seconde, il parcourt toutes les caméras en basse résolution, ce qui suffit à repérer où il se passe quelque chose. Il décide ensuite s'il faut changer de plan, et vers quel angle. Il ne lit en haute résolution que la caméra sélectionnée, avant de prendre la parole.

La seconde partie de l'architecture concerne la mémoire. Le contexte conserve ce qui est parti à l'antenne et ce qui a été dit. Les autres angles en sont exclus. Le coût de traitement reste ainsi borné et le stream peut durer indéfiniment : le contexte ne gonfle pas avec la durée du match. Pour la diffusion en direct, c'est une condition essentielle, car les tournois de Dota 2 durent des heures.

Données et résultats

Pour l'entraînement et l'évaluation, les auteurs ont constitué un jeu de données de 27 matchs professionnels de Dota 2. Il contient une caméra pour chaque héros, les décisions réelles du réalisateur humain et les commentaires des casters. Ce matériau est rare : en accès libre, on ne trouve en général que la retransmission finale, pas tous les angles « bruts ».

Les principaux éléments de l'étude :

• Tâche : réaliser et commenter un flux simultanément, en utilisant uniquement le contexte passé
• Données : 27 matchs professionnels de Dota 2, une caméra par héros, plus le choix du réalisateur humain et la parole des casters
• Mode de fonctionnement : survol de toutes les caméras en basse résolution chaque seconde, décision de changement de plan, lecture de l'angle choisi en haute résolution
• Mémoire : l'image diffusée et les propos tenus sont conservés, les autres vues sont écartées, si bien que le coût est borné pour un flux de n'importe quelle durée
• Réalisation : DirCast surpasse les approches rule-based et les modèles zero-shot, GPT-5 compris
• Commentaires : 29,2% de comparaisons gagnées face à GPT-4o
• Référence : le meilleur des onze commentateurs en streaming, qui regardaient la retransmission humaine, atteint 19,4%

Cette dernière comparaison est révélatrice. Les concurrents voyaient une retransmission déjà montée par un réalisateur professionnel, c'est-à-dire qu'ils disposaient d'un indice tout prêt sur ce qui est important. DirCast n'avait pas cet indice et se classe pourtant devant, avec dix points de pourcentage d'avance.

À quoi cela peut servir

L'application directe concerne les retransmissions de niche. La plupart des disciplines d'esport et des tournois amateurs n'ont pas le budget pour un réalisateur et des casters, et le stream est souvent assuré par un seul joueur, voire sans aucun commentaire. Un modèle qui reçoit les caméras des participants et produit une retransmission complète abaisse le ticket d'entrée pour ces événements. Pour les grands organisateurs, c'est une source potentielle de flux supplémentaires : des retransmissions alternatives avec commentaire automatique en plusieurs langues ou centrées sur un joueur précis.

Pour les développeurs, c'est le principe lui-même qui est utile. Un survol bon marché de toutes les entrées, une lecture coûteuse d'une seule entrée choisie et un contexte qui oublie le superflu conviennent à toutes les tâches multicaméras : retransmissions sportives, vidéosurveillance, robots dotés de plusieurs capteurs. La réserve est évidente : la validation a porté sur un seul jeu, Dota 2, et sur une comparaison avec des modèles, pas avec de vrais spectateurs. Reste à savoir si l'approche se transposera à des disciplines à la dynamique différente, et si une telle retransmission convaincra un vrai public.