RealityBench: 26 VLMs testados na documentação de trabalho físico no Blender

Pesquisadores apresentaram o RealityBench, um conjunto de onze ambientes no Blender. Com ele, testaram 26 modelos de visão e linguagem (VLMs) para verificar se conseguem, a partir da imagem da câmera de um trabalhador ou de óculos inteligentes, entender o que a pessoa está fazendo e ajudá-la na documentação. Os melhores modelos resolvem quase por completo as tarefas em que a resposta está escrita como texto na própria imagem. Já leem mal as medições e avaliam mal detalhes pequenos e relações espaciais. Na aprovação de imagens, os modelos do topo não se distinguem, em qualidade, de um único avaliador não especialista.

Por que um benchmark sintético

A ideia de ajudar o trabalhador no mundo físico por meio de dicas ocupa os agentes de IA há décadas. Uma das habilidades básicas nesse cenário é entender o que a pessoa faz vendo pelos olhos dela e ajudar a registrar o resultado. Quase não há dados reais para testar esses sistemas: a maioria das gravações de trabalho físico é fechada, e a variabilidade é grande demais para uma comparação rigorosa.

Cozinhas e armazéns oferecem luz, geometria e conjunto de objetos previsíveis. A instalação de painéis solares em um telhado ou o conserto de um carro são diferentes: as condições não são restritas e a dispersão é enorme. Os autores simularam esses cenários no Blender e construíram onze ambientes com dois tipos de tarefa.

• Acceptability: se o ângulo de captura serve como prova de que o trabalho foi concluído.
• Documentation: se o agente entende, a partir desse ângulo, o estado do ambiente que importa para a tarefa.

O que os 26 modelos mostraram

• Abrangência: 11 ambientes no Blender, 26 VLMs.
• Documentação: os modelos do topo geralmente se saem bem quando a resposta é um texto na imagem.
• Pontos fracos: leitura de medições, detalhes pequenos, relações espaciais, como a inclinação de uma fita métrica.
• Aprovação de imagens: os melhores modelos são estatisticamente indistinguíveis de um único avaliador não especialista.
• Custo de execução: na faixa do preço de uma verificação humana.
• Transferência para a realidade: em três perguntas com fotos reais, os rankings dos modelos nos renders se mantiveram.

A aprovação de imagens é mais complicada do que a documentação. Os avaliadores humanos divergem entre si, então o padrão de referência é difuso. Os autores usaram um avaliador cuja concordância com a opinião da maioria é aproximadamente tão frequente quanto a de uma pessoa individual. Nessa escala, os melhores modelos não se diferenciam de um avaliador que não participou da redação do estudo. Ao mesmo tempo, rodar os modelos custa aproximadamente o mesmo que uma rodada de avaliação humana.

Em três ambientes, os autores conseguiram analisar as causas dos erros de aprovação. A maioria das recusas falsas ocorre por leitura incorreta da cena, e não do requisito. O modelo entende o que precisa ser mostrado, mas enxerga errado o que está na imagem. Por isso, a visão fraca em detalhes pequenos prejudica diretamente a utilidade de um sistema desse tipo.

A coincidência dos rankings entre renders e fotos reais é um argumento a favor da própria abordagem. A amostra é pequena, com apenas três perguntas sobre imagens reais, então isso é mais um teste de viabilidade do que uma prova definitiva.

O que as equipes que constroem ferramentas de IA para trabalho de

campo devem considerar

Para produtos com óculos inteligentes e relatórios fotográficos, a conclusão é pragmática. O reconhecimento de inscrições e plaquetas já pode ser automatizado. Leituras de fita métrica, folgas e inclinações é melhor deixar para verificação humana ou confirmar com uma segunda foto.

Ao avaliar a aprovação de imagens, compare o modelo com um revisor humano, e não com uma verdade imaginária. Quando as próprias pessoas divergem, essa medição é mais honesta. Como a maior parte dos erros vem da leitura incorreta da cena, vale melhorar o sistema na camada de percepção: ângulos, closes, nova captura. Reescrever checklists traz menos ganho.

Os ambientes sintéticos no Blender permitem testar modelos onde os dados reais são fechados. Uma nova geração de VLMs pode passar por eles antes que apareçam pilotos de campo.