HOLI-World ensina um modelo de 4B a entender o mundo a partir de gravações em primeira pessoa

A equipe do HOLI-World propôs uma forma de transformar um fluxo de gravações em primeira pessoa em material de treinamento para modelos que precisam entender a estrutura de uma cena e as mudanças que ela sofre ao longo do tempo. Tudo se apoia em um conjunto pequeno para os padrões do setor: cerca de 100 cenas filmadas pelos próprios autores e aproximadamente 80 mil pares de «pergunta — resposta». É com esses dados que foi treinado o HOLIWORLD-VL-4B, um modelo compacto de visão e linguagem.

A aposta central do trabalho é que a anotação manual, que é cara, pode ser substituída por um pipeline automático, desde que a estrutura estática da cena seja conectada de maneira correta à dinâmica dos objetos.

Do que é feito o ecossistema

O HOLI-World é descrito como uma cadeia de cinco etapas: captura de experiência, representação do mundo, construção automática de dados, treinamento do modelo e avaliação independente. O componente central é o HOLIWORLD-Foundry. Ele combina dois tipos de percepção. A estática cuida da geometria estável e da semântica da cena; a dinâmica acompanha como o estado dos objetos muda. O resultado são os «registros do mundo» (world records), nos quais a cena, os objetos e o histórico de interações ficam vinculados entre si e às observações do vídeo que os comprovam.

Esse vínculo importa para dados egocêntricos. A câmera na cabeça de uma pessoa muda de ângulo o tempo todo, objetos saem do quadro e voltam, e uma xícara pode ter sido movida enquanto ninguém olhava para ela. Um modelo que enxerga apenas quadros isolados perde essas relações.

Dados, modelo, benchmark

O HOLIWORLD-Data foi montado a partir desses registros. Em seguida, o HOLIWORLD-VL-4B foi treinado com ele. Os autores criaram à parte o HOLIWORLD-Bench: ele foi anotado por pessoas independentes em gravações reservadas (held-out), que não participaram do treinamento. O benchmark verifica tanto a qualidade da anotação automática quanto o quanto o modelo absorveu as dependências espaciais e temporais.

Principais parâmetros da descrição do trabalho:

• cerca de 100 cenas filmadas pelos próprios autores;
• cerca de 80 mil pares de QA para treinamento;
• modelo HOLIWORLD-VL-4B (classe 4B);
• avaliação em ScanNet, ScanNet++, Aria Digital Twin, HOLIWORLD-Bench e EgoDynamic4D;
• a anotação humana é usada para avaliação, não para treinamento.

O que os experimentos mostraram

Segundo os autores, o Foundry lida bem com percepção estática e rastreamento dinâmico em ScanNet, ScanNet++ e Aria Digital Twin. O treinamento com o HOLIWORLD-Data, como eles escrevem, melhora de forma expressiva o raciocínio espacial e temporal do modelo no HOLIWORLD-Bench e no EgoDynamic4D. A descrição disponível não traz números concretos, então o tamanho do ganho e a comparação com VLMs maiores precisam ser conferidos no próprio artigo. Parte das avaliações usa o benchmark criado pelos próprios autores, e isso deve ser levado em conta ao ler os resultados.

Onde isso pode ser útil

Para quem desenvolve robótica e sistemas de AR, o interessante é o esquema em si: um conjunto pequeno de cenas filmadas, somado à montagem automática de registros estruturados, gera sinal de treinamento sem a necessidade de um exército de anotadores. Um modelo de 4B pode, na prática, rodar em hardware modesto, o que permite testar raciocínio espacial também fora de grandes clusters. Equipes que coletam seus próprios dados egocêntricos devem olhar de perto o formato de world records e a prática de ter um benchmark separado, com anotação independente. Falta verificar como o pipeline se comporta em cenas além das ~100 originais e quão resistente ele é a gravações ruidosas do mundo real.