DirCast сам режиссирует и комментирует киберспорт, обойдя GPT-5

Живая киберспортивная трансляция держится на двух людях: режиссёре, который каждую секунду решает, чей экран выйдет в эфир, и кастере, который говорит поверх этого выбора и не знает, что случится дальше. DirCast пытается заменить обоих одной потоковой видео-языковой моделью. Она получает сырые камеры каждого игрока, сама выбирает ракурс и сама комментирует происходящее, опираясь только на прошлое. В тестах на профессиональной Dota 2 модель режиссирует лучше rule-based подходов и zero-shot моделей, включая GPT-5, а её комментарии выигрывают у GPT-4o 29,2% сравнений.

Режиссёр, который смотрит всё сразу

До сих пор видео-языковые модели научились комментировать, но почти всегда поверх трансляции, которую человек уже смонтировал. Режиссёрская работа остаётся за кадром: кто-то уже выбрал нужную камеру, и модели остаётся описать картинку. Авторы DirCast убрали эту подпорку. Задача сформулирована жёстче: на входе камеры всех игроков, на выходе готовый эфир с голосом, и всё это в реальном времени без доступа к будущим кадрам.

Такая постановка важна, потому что решения режиссёра и кастера связаны. Куда смотрит эфир, о том и говорят. Если разделить их на две системы, комментарий рискует разойтись с картинкой. В DirCast это один цикл, и выбор камеры напрямую определяет, что модель увидит и скажет.

Дешёвый обзор и дорогой взгляд

Главная инженерная идея в том, как модель распределяет вычисления. Каждую секунду она просматривает все камеры в низком разрешении, и этого хватает, чтобы заметить, где что-то происходит. Затем модель решает, нужно ли переключаться и на какой ракурс. Только выбранную камеру она читает в высоком разрешении, прежде чем заговорить.

Вторая часть конструкции касается памяти. Контекст хранит то, что ушло в эфир, и то, что было сказано. Остальные ракурсы из него выпадают. Благодаря этому стоимость обработки ограничена, и стрим может идти сколько угодно: контекст не раздувается вместе со временем матча. Для живого вещания это принципиальное условие, потому что турниры по Dota 2 длятся часами.

Данные и результаты

Для обучения и проверки авторы собрали датасет из 27 профессиональных матчей Dota 2. В нём есть камера для каждого героя, реальные решения человека-режиссёра и комментарии кастеров. Это редкий материал: обычно в открытом доступе есть только финальный эфир, а не все «сырые» ракурсы.

Ключевые показатели из работы:

• Задача: одновременно режиссировать и комментировать поток, используя только прошлый контекст
• Данные: 27 профессиональных матчей Dota 2, по камере на каждого героя, плюс выбор человека-режиссёра и речь кастеров
• Режим работы: ежесекундный обзор всех камер в низком разрешении, решение о переключении, чтение выбранного ракурса в высоком разрешении
• Память: эфир и сказанное сохраняются, остальные виды выбрасываются, поэтому стоимость ограничена для потока любой длины
• Режиссура: DirCast превосходит rule-based подходы и zero-shot модели, включая GPT-5
• Комментарии: 29,2% выигранных сравнений против GPT-4o
• Базовая линия: сильнейший из одиннадцати потоковых комментаторов, смотревших человеческую трансляцию, набрал 19,4%

Последнее сравнение показательно. Конкуренты видели эфир, уже собранный профессиональным режиссёром, то есть получили готовую подсказку о том, что важно. DirCast такой подсказки не имел и всё равно оказался впереди на десять процентных пунктов.

Где это пригодится

Прямое применение лежит в нишевых трансляциях. У большинства киберспортивных дисциплин и любительских турниров нет бюджета на режиссёра и кастеров, и стрим часто идёт от одного игрока или вовсе без комментария. Модель, которая получает камеры участников и выдаёт полноценный эфир, снижает порог входа для таких событий. Для крупных организаторов это потенциальный источник дополнительных потоков: альтернативные эфиры с автоматическим комментарием на разных языках или под конкретного игрока.

Для разработчиков полезен сам принцип. Дешёвый обзор по всем входам, дорогое чтение одного выбранного и контекст, который забывает лишнее, подходят для любых задач с несколькими камерами: спортивных трансляций, видеонаблюдения, роботов с набором сенсоров. Оговорка очевидна: проверка шла на одной игре, Dota 2, и на сравнении с моделями, а не на живых зрителях. Следующий вопрос в том, перенесётся ли подход на дисциплины с другой динамикой и устроит ли такой эфир реальную аудиторию.