Baidu с Цинхуа и Жэньминем открыли LoopVL: Loop Transformer учат видеть

Baidu совместно с Университетом Цинхуа и школой ИИ Гаолин Жэньминьского университета Китая выложила в открытый доступ LoopVL, визуально-языковую модель, построенную на Loop Transformer. Это сеть, в которой один набор весов применяется к состоянию модели несколько раз подряд. Исследователи берутся за вопрос, который до сих пор в основном обсуждали на тексте: сохраняется ли выигрыш от циклов, когда на вход приходит картинка. В опубликованном анонсе Jiqizhixin нет ни размера модели, ни результатов на бенчмарках, поэтому конкретные цифры придётся брать из статьи и репозитория.

Что такое Loop Transformer и зачем он нужен

Обычный трансформер складывает десятки уникальных слоёв, и у каждого свои веса. Циклический вариант идёт другим путём: берёт блок или группу блоков и прогоняет через них скрытое состояние несколько раз. Глубина вычислений растёт, а число параметров остаётся прежним.

По описанию авторов, направление эволюционировало. Сначала это было простое повторное использование модуля. Теперь речь о более сложных многоуровневых циклах, где общие параметры постоянно обновляют состояние модели. Для языковых задач идея понятна: «подумать ещё раз» над тем же представлением можно без раздувания весов.

Почему зрение усложняет задачу

Изображение устроено иначе, чем текстовая последовательность. В одном кадре одновременно живут надписи, объекты и пространственные отношения между ними: что слева, что на переднем плане, что подписано. Вопрос, который ставят авторы, в том, как с этим справятся повторные проходы. Разные итерации могут специализироваться, например одна читает текст, другая строит геометрию сцены. Либо они дублируют друг друга и просто тратят вычисления впустую. Анонс обрывается как раз на этом месте («разные циклы могут…»), и выводов исследования в доступном фрагменте нет. Поэтому ответ на этот вопрос нужно искать в самой работе.

Что известно на данный момент

• Название: LoopVL, визуально-языковая модель на основе Loop Transformer.
• Участники: Baidu, Университет Цинхуа, школа Гаолин (Жэньминьский университет Китая).
• Лицензия и формат: проект заявлен как открытый.
• Ключевая идея: общие параметры плюс многоуровневые циклы обновления состояния.
• Размер модели, число циклов, результаты на бенчмарках и скорость инференса в доступном тексте не указаны.

Чем это интересно инженерам

Главное преимущество циклов в экономии памяти. Модель с общими весами занимает меньше места, а это важно для запуска на устройствах и при ограниченной видеопамяти. Платить приходится вычислениями: каждый дополнительный проход стоит FLOPs и добавляет задержку. Для мультимодальных моделей, где картинка уже превращается в сотни токенов, цена повторов заметнее, чем в тексте. Выигрыш зависит от того, сколько циклов реально нужно и можно ли менять их число под сложность запроса.

Если вы думаете о применении LoopVL, проверьте в первую очередь следующее:

• сравнение с обычной моделью того же числа параметров и того же бюджета вычислений, а не только с базовой версией меньшего размера;
• результаты на задачах с текстом в кадре (OCR, документы, графики) и на пространственных вопросах, где разные циклы по идее должны вести себя по-разному;
• задержку и потребление памяти при реальной длине визуальной последовательности;
• лицензию на веса и код, а также наличие чекпоинтов для дообучения.

Пока метрики не опубликованы, разумно относиться к LoopVL как к исследовательскому ориентиру. Это проверка того, выдержит ли циклическая архитектура мультимодальную нагрузку. Если выдержит, у разработчиков компактных моделей появится ещё один способ добавлять глубину без роста числа весов. Если циклы окажутся избыточными, это тоже полезный результат, и открытые веса позволят проверить его самостоятельно.