Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

CogAlign ensinou o Qwen3-VL-4B a escolher o item diferente como as pessoas: 53% → 57% de concordância

A rede neural reconhece a ratoeira, a caixa de fósforos e o porco-formigueiro, mas escolhe o item "diferente" de um jeito que as pessoas não escolheriam. Com resposta direta, o Qwen3-VL concordou com os humanos em 37–41% dos casos, contra 33% de um palpite aleatório. O método CogAlign ensina ao modelo os critérios que as pessoas usam na escolha (66 dimensões semânticas extraídas de 4,7 milhões de respostas) e elevou a concordância do Qwen3-VL-4B de 53,37% para 56,81%. Colocar a lista desses mesmos critérios no prompt não ajudou: o modelo precisa de exemplos com explicação.

Processado por IA de Habr AI; editado por Hamidun News
CogAlign ensinou o Qwen3-VL-4B a escolher o item diferente como as pessoas: 53% → 57% de concordância
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1A lista de 66 critérios no prompt deu 52,70%, contra 53,37% sem ela
Dado-chave #2O Centaur, de 70 bilhões de parâmetros, marcou 51,96%, abaixo dos três Qwen3-VL
Dado-chave #3No MMBench, a acurácia do 4B caiu de 82,96% para 81,39%

Mostre a uma pessoa uma ratoeira, uma caixa de fósforos e um porco-formigueiro, e em poucos segundos ela apontará o porco-formigueiro como o item diferente: dois objetos foram feitos por humanos, e o terceiro é um ser vivo. Uma rede neural multimodal, ou seja, um modelo que trabalha com imagens e texto, reconhece os três objetos, mas pode escolher o item diferente com base em um critério totalmente distinto. No teste dos pesquisadores, os modelos da família Qwen3-VL, com resposta direta, coincidiram com a escolha humana em apenas 37–41% dos casos, enquanto o palpite aleatório numa tarefa com três opções dá 33,3%.

O método CogAlign, de que trata a pesquisa, faz um ajuste fino do modelo nos critérios que as pessoas usam para escolher. Com isso, a taxa de concordância com humanos do Qwen3-VL-4B subiu de 53,37% (cadeia de raciocínio comum) para 56,81%. Para desenvolvedores, o recado é claro: se o produto agrupa mercadorias, modera imagens ou busca itens semelhantes, um modelo que "enxerga" o mundo de forma diferente da do usuário vai errar justamente onde tudo é óbvio para uma pessoa.

Por que o alinhamento convencional não resolve o problema

Normalmente, os modelos são "alinhados" com RLHF, em que pessoas avaliam as respostas e, a partir dessas notas, se treina um modelo de recompensa separado, ou com DPO, em que o modelo aprende diretamente com pares de resposta aceita e resposta rejeitada. Isso funciona bem para tirar do bot o hábito de ser grosseiro e para ensiná-lo a manter um formato organizado. Mas a coincidência da resposta final com a humana não diz nada sobre o caminho até ela.

O modelo pode ter notado que dois objetos são de metal. Ou pode simplesmente ter chutado, porque imagens parecidas apareciam com mais frequência em certo contexto nos dados de treinamento. Os autores do trabalho Aligning MLLMs with the Latent Structure of Human Cognition propõem ensinar ao modelo não só a resposta, mas também a razão da escolha.

De onde vieram os 66 critérios

A base é o projeto THINGS: 1854 conceitos de objetos reais e um grande experimento no formato odd-one-out (o item diferente). As pessoas viam três imagens e escolhiam a que menos se parecia com as outras duas. Foram reunidos cerca de 4,7 milhões de julgamentos humanos. O algoritmo SPoSE posicionou os objetos num espaço multidimensional e destacou 66 dimensões compreensíveis para humanos: alimentos, animais, têxteis, eletrônicos, transporte, plantas, objetos redondos, coisas peludas e macias, armas e perigo, medicina. A ratoeira recebe nota alta na dimensão "metálico ou artificial", e o porco-formigueiro, na dimensão "animal". Não se trata de 66 interruptores no cérebro, e sim de um modelo matemático construído a partir de respostas de pessoas.

Como funciona o treinamento

O CogAlign opera em três etapas. Primeiro, para cada trio de imagens, o método Jackknife remove uma dimensão por vez e observa como muda a chance de o par restante ser o mais semelhante. A dimensão com o efeito mais forte vira o critério principal, por exemplo "feito por humanos".

Depois, uma LLM comum transforma esse critério numa explicação coerente; ela não procura a resposta certa, apenas recebe o critério pronto. Por fim, o modelo multimodal passa por ajuste fino supervisionado (SFT) nesses exemplos. O conjunto reúne 309 329 exemplos: cerca de 80 mil tarefas cognitivas do THINGS e, no restante, reconhecimento de imagens, storytelling, busca por diferenças e outras tarefas, para que o modelo não se torne um especialista restrito em achar o item diferente.

Resultados e armadilhas

A avaliação usou 453 642 trios de imagens. Para o Qwen3-VL-4B, a concordância foi de 41,48% com resposta direta, 53,37% com cadeia de raciocínio comum e 56,81% após o CogAlign. Para o 8B, os números são 40,46%, 52,28% e 56,99%. Para o 30B-A3B, de arquitetura Mixture of Experts: 37,09%, 55,38% e 56,21%. O Centaur, modelo especializado de 70 bilhões de parâmetros treinado com dados de comportamento humano, marcou 51,96%, e os três Qwen3-VL superaram esse resultado após o CogAlign. Numa amostra de aproximadamente 75,6 mil tarefas, o Qwen2.5-VL-7B melhorou de 56,63% para 59,29%, e o Gemma3-12B, de 55,77% para 57,28%.

O resultado mais útil na prática diz respeito aos prompts. Ao inserir as 66 dimensões no prompt de sistema, o Qwen3-VL-4B chega a 52,70%, contra 53,37% com a cadeia de raciocínio comum. Quando o raciocínio se apoia em uma única dimensão escolhida, a precisão cai para 49,01%. Os modelos muitas vezes entravam em loop: listavam que o porco-formigueiro não é metálico, não é artificial, não é plano e não é verde, até acabarem os tokens. Cada afirmação é verdadeira, mas quase não tem relação com a tarefa. Se as explicações completas forem trocadas por rótulos curtos das dimensões, o resultado cai para 42,81%.

Não há ganho universal. No MMMU, os resultados subiram nas três versões do Qwen3-VL, mas no MMBench a acurácia do modelo 4B diminuiu de 82,96% para 81,39%. Além disso, entre as 66 dimensões há critérios estereotipadamente femininos e estereotipadamente masculinos, por isso vale revisar esses dados antes de usá-los.

A conclusão para equipes que ajustam modelos multimodais: se o objetivo é que o modelo escolha "como uma pessoa", uma longa lista de regras no prompt pode não ajudar e até prejudicar. É mais seguro fazer o ajuste fino com exemplos em que cada resposta vem acompanhada de uma explicação, misturando-os com tarefas comuns para preservar as habilidades gerais.

História

Perguntas frequentes sobre a notícia

Por que o alinhamento convencional não resolve o problema?

Normalmente, os modelos são "alinhados" com RLHF, em que pessoas avaliam as respostas e, a partir dessas notas, se treina um modelo de recompensa separado, ou com DPO, em que o modelo aprende diretamente com pares de resposta aceita e resposta rejeitada. Isso funciona bem para tirar do bot o hábito de ser grosseiro e para ensiná-lo a manter um formato organizado. Mas a coincidência da resposta final com a humana não diz nada sobre o caminho até ela. O modelo pode ter notado que dois objetos são de metal.

O que se sabe sobre De onde vieram os 66 critérios?

A base é o projeto THINGS: 1854 conceitos de objetos reais e um grande experimento no formato odd-one-out (o item diferente). As pessoas viam três imagens e escolhiam a que menos se parecia com as outras duas. Foram reunidos cerca de 4,7 milhões de julgamentos humanos.

Como funciona o treinamento?

O CogAlign opera em três etapas. Primeiro, para cada trio de imagens, o método Jackknife remove uma dimensão por vez e observa como muda a chance de o par restante ser o mais semelhante. A dimensão com o efeito mais forte vira o critério principal, por exemplo "feito por humanos". Depois, uma LLM comum transforma esse critério numa explicação coerente; ela não procura a resposta certa, apenas recebe o critério pronto. Por fim, o modelo multimodal passa por ajuste fino supervisionado (SFT) nesses exemplos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…