Pesquisadores publicam dataset com 100 mil artigos ilustrados e um teste com 7 métricas

Quando um modelo de IA recebe o pedido "explique como fazer risoto", uma boa resposta não se resume a texto. Ela precisa de passos e de fotos que mostrem como o arroz fica em cada etapa. Esses modelos são chamados de multimodais unificados: eles sabem escrever e desenhar.

Mas quase ninguém avaliou de forma sistemática a capacidade de intercalar texto e imagens dentro de uma mesma resposta (o artigo chama isso de interleaved generation). Pesquisadores da Universidade de Nanquim, da Meituan, do Imperial College London e da Universidade Tecnológica de Nanyang lançaram o IntReal. É um dataset com 100 000 exemplos reais e 538 452 imagens, acompanhado de um benchmark com sete métricas que mostram em que ponto exato o modelo é fraco.

De onde vieram os dados e por que 90% foram descartados

Os autores reuniram mais de um milhão de exemplos brutos de sete fontes que permitem coleta e distribuição públicas. Pelo papel que texto e imagens desempenham, os materiais foram divididos em quatro categorias:

• planejamento: decisões para objetivos e restrições específicos, como um roteiro de viagem com mapas e fotos; • conhecimento: artigos enciclopédicos em que a imagem liga um conceito abstrato a um objeto real; • instruções: tutoriais de culinária e de outras áreas, em que as imagens mostram estados intermediários; • histórias: narrativas em que as imagens criam personagens e cenas (a ideia foi inspirada no projeto SEED-Story).

Depois veio uma limpeza em quatro etapas. Primeiro, foram eliminadas imagens com proporções absurdas, baixa resolução e formato não suportado. Em seguida, o modelo de avaliação de qualidade RALI removeu as imagens ruins, e classificadores treinados com ajuste fino sobre o SigLIP2 detectaram marcas d'água e rostos.

O modelo DINOv3 eliminou imagens quase idênticas dentro do mesmo exemplo. Na terceira etapa, o modelo de linguagem Qwen3.5-397B-A17B escreveu legendas para as imagens e ajustou o texto ao redor.

O texto original tem prioridade sobre o gerado, para que nenhum fato se perca. Na quarta etapa, o mesmo modelo montou, para cada exemplo, um prompt e uma cadeia de raciocínio, de modo que os dados possam ser usados de imediato no ajuste fino.

Um único defeito em um exemplo longo descarta o exemplo inteiro. Por isso, restou cerca de 10% do material coletado, e as categorias foram equilibradas em volume.

Sete métricas em vez de uma nota "geral"

Normalmente, uma resposta longa com imagens é entregue a um único modelo multimodal que atua como juiz. Os autores argumentam que, assim, não dá para entender onde o modelo erra, e que um juiz generalista nem sempre é competente nos detalhes. No IntReal, cada habilidade tem seu próprio especialista.

O teste usa 600 exemplos do dataset, 150 por categoria. Cada modelo passa por dois modos. No primeiro, ele gera toda a resposta do zero. No segundo, recebe um contexto real de texto e imagens e é solicitado a desenhar a próxima imagem. Cada modelo exige mais de 6 000 imagens geradas em meio a texto, por isso o conjunto foi mantido propositalmente compacto.

As sete métricas:

• riqueza do texto: um modelo de linguagem compara a resposta com o texto real, em pares; • precisão factual: o mesmo modelo procura erros, contradições e lacunas lógicas; • estética das imagens: um modelo de avaliação de qualidade de imagem; • repetições: similaridade de features DINO entre imagens vizinhas; um valor alto demais significa que o modelo "desenhou a mesma coisa"; • número de imagens: o modelo deve gerar a mesma quantidade de ilustrações que o exemplo real; • consistência com o contexto: um modelo multimodal verifica se os requisitos visuais, deduzidos antes a partir do texto e das imagens anteriores, foram cumpridos; • constância do objeto: similaridade com a referência via DINO, para que o herói da história ou o ingrediente da receita não mude de um quadro para o outro. Calculada apenas para histórias e instruções.

Validação do próprio teste: a correlação de Spearman par a par máxima entre as métricas fica abaixo de 0,42, ou seja, elas medem coisas diferentes. A concordância com a avaliação humana é de 83,3%. Ao trocar os modelos especialistas, os resultados se mantêm consistentes, com correlação acima de 0,9.

O que os experimentos mostraram

Os autores compararam quatro famílias de modelos. Em uma delas, o checkpoint aberto não consegue intercalar texto e imagens sozinho, por isso só foi avaliada depois do ajuste fino no IntReal-100K. Outra consegue, mas não liberou métodos de ajuste fino, e foi usada como está. A terceira, SenseNova-U1, suporta os dois cenários e tem duas variantes: 8B-MoT e A3B-MoT. Nas duas, o ramo de geração tem 8 bilhões de parâmetros, enquanto o bloco de compreensão tem 8 bilhões ou 30 bilhões, com arquitetura de mistura de especialistas. O quarto modelo é fechado e acessível via API.

O ajuste fino supervisionado convencional no IntReal-100K melhorou a geração de texto do SenseNova-U1, mas piorou parte dos indicadores de imagem. É um problema antigo desses modelos: texto e imagens puxam os pesos em direções diferentes.

A solução veio de onde ninguém esperava. Os autores aplicaram o Flow-GRPO, um método de aprendizado por reforço para modelos generativos, apenas à tarefa "desenhe a próxima imagem a partir do contexto". As métricas do IntReal serviram de recompensa. Isso recuperou a qualidade de imagem perdida, e o modelo obteve a melhor pontuação geral entre os modelos abertos do teste.

A conclusão prática para engenheiros: não é necessário treinar texto e imagens juntos em todas as etapas. É possível otimizar uma só modalidade e obter ganho nas respostas mistas. Para equipes que desenvolvem assistentes de IA para tutoriais, guias de viagem e materiais didáticos, o IntReal oferece um dataset pronto e um teste de diagnóstico para ver exatamente onde o modelo falha.