Head linear sobre o Qwen3-VL supera o GPT-4o na avaliação de respostas sem anotação humana

Pesquisadores mostraram que um reward model multimodal não precisa de anotadores. Um head linear, acoplado a uma camada intermediária de um Qwen3-VL congelado, aprende a dar nota maior à legenda original de uma imagem na web do que à versão distorcida dela, e só isso. Na escala de 32B, a mesma receita, sem nenhum reajuste, se equipara ao GPT-4o ou o supera em três benchmarks, e no VL-RewardBench fica 6,6 pontos à frente. Os parâmetros treináveis são alguns milhares, e o custo computacional é cerca de mil vezes menor que o de um fine-tuning.

Como funciona a receita

Normalmente, reward models de visão e linguagem são treinados com pares de preferência anotados. Esse tipo de anotação é caro, os anotadores divergem entre si, e a qualidade depois é medida pela acurácia em um benchmark. Os autores tiram o humano do treinamento. Eles pegam uma legenda comum de imagem da internet, a estragam (o resumo do artigo não detalha o sampler usado) e treinam o head para preferir o original. Dados anotados só são necessários em um ponto: para escolher de qual camada extrair as representações.

Foi justamente essa escolha que se mostrou decisiva. A camada intermediária rende 5,8 pontos a mais que a última. As últimas camadas provavelmente são especializadas demais na previsão do próximo token, enquanto o meio da rede guarda melhor a diferença entre uma descrição correta e uma incorreta da imagem.

O que mostram os números

Principais resultados do trabalho:

• em três benchmarks, com 32B, o modelo iguala ou supera o GPT-4o;
• no VL-RewardBench, a vantagem é de 6,6 pontos;
• treinam-se alguns milhares de parâmetros, com custo de cerca de 1/1000 do fine-tuning;
• com o mesmo orçamento de pares, as perturbações dão ao head congelado de 3 a 5 pontos a mais que os pares curados do RLAIF-V;
• a receita se transfere entre benchmarks sem nova calibração.

Como o backbone é congelado, o problema de treinar o head é convexo. O resultado não depende de uma inicialização favorável nem do ruído aleatório da otimização, o que facilita a reprodução.

O benchmark não diz o que exatamente você avaliou

A parte mais interessante do trabalho diz respeito aos próprios benchmarks. Quem define a recompensa é o sampler de perturbações, não a posição na tabela. Os autores treinaram dois heads em metades disjuntas das mesmas perturbações. No benchmark, os dois tiveram resultado idêntico. Na avaliação de alucinações, divergiram em 6,4 pontos. Dois modelos com o mesmo número no leaderboard se comportam de forma diferente justamente onde isso importa para o produto.

Há também um exemplo no sentido contrário. O head foi retreinado com candidatos da própria policy, rotulados por um verificador. As alucinações nas legendas, medidas pelo CHAIR, caíram 5,1 pontos, e a taxa de gerações de imagem bem-sucedidas subiu 5,4. Mesmo assim, esse head teve resultado pior em todos os benchmarks de reward model. O ganho na tarefa-alvo veio acompanhado de queda na tabela, porque a tabela media outra coisa.

Conclusão prática

Para uma equipe que faz RLHF ou RLAIF em um modelo multimodal, vale testar primeiro a opção barata: um probe linear nas camadas intermediárias de um modelo congelado, com pares «original — versão distorcida» gerados automaticamente. O custo é mínimo perto do de um fine-tuning, e o resultado é uma baseline sólida sem contratar anotadores. A camada deve ser escolhida com base em uma pequena amostra anotada, pois é o parâmetro mais sensível.

A segunda conclusão diz respeito à avaliação. Um único benchmark não mostra qual comportamento ficou codificado na recompensa. Se o reward model serve para combater alucinações, é preciso testá-lo separadamente nesse aspecto e, sempre que possível, ajustá-lo com candidatos da própria policy e um verificador. Ressalva: todos os números vêm de um preprint no arXiv, ainda sem verificação independente, e os detalhes do sampler de perturbações devem ser consultados no texto completo do trabalho.