Zebra3D acelera a reconstrução 3D em até 7,1× com 1024 quadros, sem treinar do zero

Modelos que constroem uma cena 3D a partir de um conjunto de fotografias sem poses de câmera conhecidas esbarram no custo da atenção global, que cresce de forma quadrática com o número de quadros. A equipe do Zebra3D propõe uma forma de aliviar essa limitação sem treinar o modelo do zero. Segundo os autores, a aceleração de ponta a ponta chega a 7,1× com 1024 vistas. Após o fine-tuning, o Zebra3D-VGGT alcança 80,5% de AUC@30 no RealEstate10K, com esparsidade média de atenção de 94%. O resultado fica a até 1,1 ponto percentual do VGGT denso, ajustado com os mesmos dados e no mesmo cronograma.

Onde o escalonamento quebra

Modelos 3D feed-forward como VGGT, HunyuanWorld-Mirror e π³ geram a geometria e as poses de câmera em uma única passada. Para isso, os tokens de todos os quadros "olham" uns para os outros por meio da atenção global. Com algumas dezenas de vistas, o custo é tolerável. Com centenas ou milhares de quadros, o custo da atenção passa a dominar, e o modelo deixa de escalar com o número de imagens de entrada.

Os autores partiram de uma observação sobre como a atenção se distribui ao longo da profundidade da rede. O padrão se mostrou semelhante nas três arquiteturas. Os estágios iniciais toleram relativamente bem a troca por atenção linear. Nos estágios intermediários e finais, que são sensíveis a essa troca, a atenção costuma ser mais concentrada: a informação importante está em poucos pontos.

Como o Zebra3D funciona

Com base nessa observação, os autores montaram um esquema híbrido por camada. Nos estágios tolerantes, entra uma atenção centrada na parte linear. Nos estágios sensíveis, o modelo usa atenção esparsa em tiles: apenas blocos selecionados de tokens são calculados. Para não perder o restante do contexto, as regiões não selecionadas são representadas por resumos-âncora (landmark summaries).

Um detalhe importante para a prática: a conversão pode ser feita sem treinamento. Os componentes lineares são ajustados por uma transformação afim em forma fechada, ou seja, uma solução obtida sem gradiente descendente. Quando é preciso mais precisão, é possível acrescentar um fine-tuning opcional após a conversão. Ele combina a função de supervisão usual da tarefa com a destilação das saídas e das características relacionais do modelo denso.

Principais números do abstract:

• três modelos-base testados: VGGT, HunyuanWorld-Mirror e π³;
• aceleração de até 7,1× com 1024 vistas de entrada, e o ganho cresce com o número de quadros;
• esparsidade média de atenção de 94% no Zebra3D-VGGT após o fine-tuning;
• 80,5% de AUC@30 no RealEstate10K, com diferença de no máximo 1,1 p.p. em relação ao VGGT denso com o mesmo fine-tuning, ou seja, cerca de 81,6%;
• as variantes sem treinamento permanecem próximas das equivalentes densas em qualidade de reconstrução e precisão das poses de câmera.

O que mudar no pipeline

Para equipes que trabalham com grandes conjuntos de imagens (cartografia, escaneamento de objetos e ambientes, dados para robótica, geração de mundos), o ponto central é que a atualização não exige um novo pré-treinamento. É possível pegar um checkpoint já em uso e rodar a conversão. A variante sem treinamento serve para testar uma hipótese rapidamente. O fine-tuning é necessário quando a precisão das poses importa, e seu custo é incomparável ao de um treinamento do zero.

Há também ressalvas. Trata-se de um preprint no arXiv, e ainda não há verificação independente. Velocidade e qualidade foram medidas pelos próprios autores, e a aceleração máxima se refere a um número extremo de vistas. Com os 8–32 quadros típicos, o ganho será bem mais modesto, já que ele cresce com o número de quadros. Antes de adotar, vale medir latência e memória nos seus próprios dados, verificar onde fica a fronteira das camadas sensíveis no seu modelo e confirmar a disponibilidade do código e dos pesos. Se os números divulgados se confirmarem, processar milhares de quadros em uma única passada passará a ser uma ferramenta de trabalho, e não uma demonstração de bancada.