Novo benchmark verifica se as imagens geradas por IA obedecem às leis da física

Uma imagem gerada pode ter notas altas em estética, aderência ao prompt e preferência humana. Ainda assim, pode mostrar uma mão com uma articulação a mais, uma cadeira fundida à mesa ou uma sombra que cai contra a direção da luz. Os pesquisadores, cujo trabalho foi noticiado pelo veículo chinês Jiqizhixin, chamam isso de ponto cego na avaliação de modelos text-to-image e propõem um teste separado de “consistência de mundo”. Ele deve indicar se a imagem obedece às restrições do mundo real. No trecho disponível da publicação, não aparecem o nome do benchmark, a lista de modelos testados nem as pontuações finais. Por isso, o texto abaixo analisa a formulação do problema, não os resultados.

Onde as métricas tradicionais falham

O conjunto padrão para avaliar geração de imagens costuma ter três partes: nota estética, concordância com o texto do prompt e um modelo que imita o gosto humano. As três olham para a imagem como um todo. Querem saber se ela é bonita, se corresponde ao tema pedido e se agradará às pessoas.

Nesse esquema, pequenas violações físicas passam despercebidas. A composição geral é boa, a iluminação é agradável e os objetos do prompt estão presentes. A métrica dá nota alta. Já quem olha com atenção percebe que o garfo entra no prato e que a pessoa ao fundo tem três pernas. Os autores colocam a questão de forma direta: os objetos, suas interações e suas relações espaciais correspondem às restrições do mundo real? Na avaliação deles, falta uma medição sistemática para isso, e por isso é difícil comparar quantitativamente o problema entre modelos.

O que o teste propõe verificar

Segundo a descrição, a “consistência com o mundo” abrange três camadas da imagem:

• Objetos. Mantêm forma e estrutura plausíveis, incluindo a anatomia? Membros deformados aparecem entre os erros típicos.
• Interações. Os objetos não se penetram e entram em contato de maneira correta?
• Relações espaciais. A posição, a escala e as sobreposições dos objetos são coerentes com a organização de uma cena real?
• Fenômenos físicos. Alguma lei óbvia, que o observador percebe de forma intuitiva, foi violada?

A ideia central é que isso seja um eixo de avaliação próprio, independente da beleza e da fidelidade ao prompt. Um modelo pode ser forte nos dois primeiros e fraco no terceiro. Só medindo os três é possível enxergar essa diferença.

Como usar isso na prática

Para equipes que escolhem ou fazem fine-tuning de modelos generativos, a conclusão é simples: uma nota agregada única não basta. Se as imagens vão para publicidade, e-commerce, ilustrações de matérias ou datasets sintéticos, os artefatos físicos se tornam um risco direto. O comprador os percebe, e nos dados de treinamento eles se consolidam como norma.

No fluxo de trabalho, vale somar às métricas automáticas ao menos uma revisão manual por amostragem, seguindo as camadas listadas: anatomia, contato entre objetos e geometria da cena. Quando esse benchmark for liberado em acesso aberto, convém rodá-lo nos seus próprios modelos e comparar com os rankings habituais. Se a ordem dos modelos mudar, as métricas anteriores não estavam medindo tudo o que importa.

É preciso, ainda, aguardar o texto completo da pesquisa. Por enquanto, não se sabe como funciona a anotação, se a avaliação é automatizada e quanto ela coincide com a opinião de pessoas. Disso depende se o teste se tornará um padrão de trabalho ou ficará como um conjunto acadêmico de exemplos.