RealityBench: 26 VLM puestos a prueba en la documentación de trabajo físico en Blender

Un grupo de investigadores ha presentado RealityBench, un conjunto de once entornos en Blender. Con él han evaluado 26 modelos vision-language para ver si, a partir de la imagen de la cámara de un trabajador o de unas gafas inteligentes, pueden entender qué hace la persona y ayudarla con la documentación. Los mejores modelos resuelven casi por completo las tareas en las que la respuesta está escrita como texto directamente en el encuadre. Sin embargo, leen mal las mediciones y valoran con poca precisión los detalles pequeños y las relaciones espaciales. En la aceptación de encuadres, los modelos de cabeza no se distinguen en calidad de un solo evaluador no especializado.

Por qué hace falta un benchmark sintético

La idea de ayudar al trabajador en el mundo físico mediante indicaciones lleva décadas ocupando a los agentes de IA. Una de las capacidades básicas es entender qué hace una persona viendo lo que ve ella y ayudarla a documentar el resultado. Apenas existen datos reales para evaluar estos sistemas: la mayoría de las grabaciones de trabajo físico son privadas y la variabilidad es demasiado grande para hacer comparaciones rigurosas.

Las cocinas y los almacenes ofrecen una iluminación, una geometría y un conjunto de objetos predecibles. El montaje de paneles solares en un tejado o la reparación de un automóvil son otra cosa: las condiciones no están acotadas y la dispersión es enorme. Los autores modelaron esos escenarios en Blender y construyeron once entornos con dos tipos de tareas.

• Acceptability: si un ángulo de cámara determinado sirve como prueba de que el trabajo se ha realizado.
• Documentation: si el agente entiende, a partir de ese ángulo, el estado del entorno que importa para la tarea.

Qué mostraron los 26 modelos

• Alcance: 11 entornos en Blender, 26 VLM.
• Documentación: los modelos de cabeza resuelven la mayoría de los casos si la respuesta es texto en el encuadre.
• Puntos débiles: lectura de mediciones, detalles pequeños, relaciones espaciales, por ejemplo la inclinación de una cinta métrica.
• Aceptación de encuadres: los mejores modelos son estadísticamente indistinguibles de un solo evaluador no especializado.
• Coste de la ejecución: dentro del rango del precio de una revisión humana.
• Transferencia a la realidad: en tres preguntas con fotos reales se mantuvieron los rankings de modelos obtenidos con renders.

La aceptación de encuadres es más complicada que la documentación. Los evaluadores humanos discrepan entre sí, por lo que la referencia es difusa. Los autores tomaron como referencia a un evaluador cuya coincidencia con la opinión mayoritaria es aproximadamente tan frecuente como la de una persona individual. En esa escala, los mejores modelos no se distinguen de un evaluador que no participó en la redacción del trabajo. Además, ejecutarlos cuesta aproximadamente lo mismo que una revisión humana.

En tres entornos, los autores lograron desglosar las causas de los errores de aceptación. La mayoría de los rechazos falsos se deben a una lectura errónea de la escena, no del requisito. El modelo entiende qué hay que mostrar, pero ve mal qué hay en el encuadre. Por eso, la mala visión en los detalles pequeños afecta de forma directa a la utilidad de un sistema así.

Que los rankings coincidan en renders y en fotos reales es un argumento a favor del propio enfoque. La muestra es pequeña, solo tres preguntas con imágenes reales, así que se trata más de una prueba de viabilidad que de una demostración definitiva.

Qué deben tener en cuenta los equipos que construyen herramientas de

IA para trabajo de campo

Para productos con gafas inteligentes e informes fotográficos, la conclusión es pragmática. El reconocimiento de rótulos y placas ya se puede automatizar. Las lecturas de la cinta métrica, las holguras y las inclinaciones es mejor dejarlas para la revisión de una persona o confirmarlas con una segunda foto.

Al evaluar la aceptación de encuadres, conviene comparar el modelo con un revisor humano concreto, no con una verdad imaginaria. Cuando las propias personas discrepan, esta medición es más honesta. Dado que la mayor parte de los errores procede de una lectura incorrecta de la escena, lo recomendable es mejorar el sistema en el plano de la percepción: ángulos, primeros planos, nueva toma de la foto. Reescribir las listas de comprobación aportará menos.

Los entornos sintéticos de Blender permiten probar modelos allí donde los datos reales son privados. Una nueva generación de VLM puede pasar por ellos antes de que lleguen los pilotos de campo.