Zebra3D ускоряет 3D-реконструкцию до 7,1× на 1024 кадрах без обучения с нуля

Модели, которые строят 3D-сцену по набору фотографий без известных поз камер, упираются в стоимость глобального внимания: она растёт квадратично с числом кадров. Команда Zebra3D предлагает способ ослабить это ограничение без обучения с нуля. По данным авторов, сквозное ускорение достигает 7,1× на 1024 видах. После дообучения Zebra3D-VGGT набирает 80,5% AUC@30 на RealEstate10K при средней разреженности внимания 94%. Это в пределах 1,1 процентного пункта от плотного VGGT, дообученного на тех же данных по тому же расписанию.

Где ломается масштабирование

Feed-forward 3D-модели вроде VGGT, HunyuanWorld-Mirror и π³ выдают геометрию и позы камер за один проход. Для этого токены всех кадров смотрят друг на друга через глобальное внимание. На десятках видов это терпимо. На сотнях и тысячах кадров стоимость внимания начинает доминировать, и модель перестаёт масштабироваться по числу входных изображений.

Авторы начали с наблюдения о том, как внимание распределено по глубине сети. Оно оказалось похожим у всех трёх архитектур. Ранние стадии относительно спокойно переносят замену на линейное внимание. В средних и поздних стадиях, которые чувствительны к такой замене, внимание обычно более сконцентрировано: важная информация сосредоточена в небольшом числе мест.

Как устроен Zebra3D

На этом наблюдении построена послойная гибридная схема. В толерантных стадиях стоит внимание с упором на линейную часть. В чувствительных стадиях используется тайлово-разреженное внимание: считаются только выбранные блоки токенов. Чтобы не терять остальной контекст, невыбранные области представлены сводками-ориентирами (landmark summaries).

Важная деталь для практики: конверсия может идти без обучения. Линейные компоненты подгоняются аффинным преобразованием в замкнутой форме, то есть решением без градиентного спуска. Если нужно больше точности, добавляется опциональное дообучение после конвертации. Оно сочетает обычную задачную supervision-функцию с дистилляцией выходов и реляционных признаков плотной модели.

Ключевые цифры из аннотации:

• три проверенные базовые модели: VGGT, HunyuanWorld-Mirror и π³;
• ускорение до 7,1× при 1024 входных видах, причём выигрыш растёт с числом кадров;
• средняя разреженность внимания 94% у Zebra3D-VGGT после дообучения;
• 80,5% AUC@30 на RealEstate10K, отставание от плотного VGGT с тем же дообучением не больше 1,1 п.п., то есть порядка 81,6%;
• варианты без обучения остаются близкими к плотным аналогам по качеству реконструкции и точности поз камер.

Что менять в пайплайне

Для команд, которые работают с большими наборами снимков (картография, сканирование объектов и помещений, данные для робототехники, генерация миров), главное в том, что апгрейд не требует нового претрейна. Можно взять уже используемый чекпойнт и прогнать конвертацию. Вариант без обучения подойдёт для быстрой проверки гипотезы. Дообучение нужно, когда важна точность поз, и его стоимость несопоставима с обучением с нуля.

Есть и оговорки. Это препринт на arXiv, независимой проверки пока нет. Скорость и качество измерены самими авторами, а максимальное ускорение относится к экстремальному числу видов. На типичных 8–32 кадрах выигрыш будет заметно скромнее, раз он растёт с числом кадров. Прежде чем внедрять, стоит измерить задержку и память на своих данных, посмотреть, где проходит граница чувствительных слоёв для вашей модели, и проверить доступность кода и весов. Если заявленные цифры подтвердятся, обработка тысяч кадров за один проход станет рабочим инструментом, а не демонстрацией на стенде.