HOLI-World enseña a un modelo de 4B a entender el mundo a partir de grabaciones en primera persona

El equipo de HOLI-World propone una forma de convertir un flujo de grabaciones en primera persona en material de entrenamiento para modelos que deben entender la estructura de una escena y sus cambios a lo largo del tiempo. Todo se apoya en un conjunto pequeño para los estándares de la industria: unas 100 escenas grabadas por los propios autores y aproximadamente 80 mil pares «pregunta — respuesta». Con ellos se entrenó un modelo compacto de visión y lenguaje, HOLIWORLD-VL-4B. La apuesta central del trabajo es que el costoso etiquetado manual puede sustituirse por un pipeline automático, siempre que se vincule correctamente la estructura estática de la escena con la dinámica de los objetos.

De qué se compone el ecosistema

HOLI-World se describe como una cadena de cinco eslabones: captura de experiencia, representación del mundo, construcción automática de datos, entrenamiento del modelo y evaluación independiente. El componente central es HOLIWORLD-Foundry, que combina dos tipos de percepción. La estática se encarga de la geometría estable y la semántica de la escena; la dinámica sigue cómo cambian los estados de los objetos. El resultado son los «registros del mundo» (world records): en ellos, la escena, los objetos y el historial de interacciones están vinculados entre sí y con las observaciones del vídeo que los respaldan.

Ese vínculo es importante en los datos egocéntricos. Una cámara montada en la cabeza de una persona cambia de ángulo constantemente, los objetos salen del encuadre y vuelven, y una taza puede haber sido movida mientras nadie la miraba. Un modelo que solo ve fotogramas aislados pierde esas relaciones.

Datos, modelo, benchmark

Con estos registros se construyó HOLIWORLD-Data, y con él se entrenó HOLIWORLD-VL-4B. Por separado, los autores crearon HOLIWORLD-Bench: lo etiquetaron personas independientes sobre grabaciones reservadas que no participaron en el entrenamiento. El benchmark comprueba tanto la calidad del etiquetado automático como hasta qué punto el modelo ha asimilado las dependencias espaciales y temporales.

Parámetros clave según la descripción del trabajo:

• unas 100 escenas grabadas por los propios autores;
• unos 80 mil pares QA para el entrenamiento;
• el modelo HOLIWORLD-VL-4B (clase 4B);
• evaluación en ScanNet, ScanNet++, Aria Digital Twin, HOLIWORLD-Bench y EgoDynamic4D;
• el etiquetado humano se usa para evaluar, no para entrenar.

Qué mostraron los experimentos

Según los autores, Foundry resuelve con solvencia la percepción estática y el seguimiento dinámico en ScanNet, ScanNet++ y Aria Digital Twin. El entrenamiento con HOLIWORLD-Data, afirman, mejora de forma sustancial el razonamiento espacial y temporal del modelo en HOLIWORLD-Bench y EgoDynamic4D. La descripción disponible no incluye cifras concretas, así que la magnitud de la mejora y la comparación con VLM de mayor tamaño hay que consultarlas en el propio artículo. Parte de las evaluaciones se hace sobre un benchmark propio de los autores, algo que conviene tener en cuenta al leer los resultados.

Dónde puede resultar útil

Para los desarrolladores de robótica y sistemas de AR, lo interesante es el esquema en sí: un conjunto reducido de escenas grabadas, más un ensamblado automático de registros estructurados, aporta señal de entrenamiento sin un ejército de anotadores. Un modelo de tamaño 4B se puede ejecutar en hardware modesto, lo que permite probar el razonamiento espacial también fuera de los grandes clústeres. Los equipos que recopilan sus propios datos egocéntricos deberían fijarse en el formato world records y en la práctica de un benchmark aparte con etiquetado independiente. Queda por comprobar cómo se trasladará el pipeline a escenas ajenas a las ~100 originales y hasta qué punto resiste grabaciones ruidosas de la vida real.