CogAlign ensinou o Qwen3-VL-4B a escolher o item diferente como as pessoas: 53% → 57% de concordância
A rede neural reconhece a ratoeira, a caixa de fósforos e o porco-formigueiro, mas escolhe o item "diferente" de um jeito que as pessoas não escolheriam. Com resposta direta, o Qwen3-VL concordou com os humanos em 37–41% dos casos, contra 33% de um palpite aleatório. O método CogAlign ensina ao modelo os critérios que as pessoas usam na escolha (66 dimensões semânticas extraídas de 4,7 milhões de respostas) e elevou a concordância do Qwen3-VL-4B de 53,37% para 56,81%. Colocar a lista desses mesmos critérios no prompt não ajudou: o modelo precisa de exemplos com explicação.
Processado por IA de Habr AI; editado por Hamidun News
Mostre a uma pessoa uma ratoeira, uma caixa de fósforos e um porco-formigueiro, e em poucos segundos ela apontará o porco-formigueiro como o item diferente: dois objetos foram feitos por humanos, e o terceiro é um ser vivo. Uma rede neural multimodal, ou seja, um modelo que trabalha com imagens e texto, reconhece os três objetos, mas pode escolher o item diferente com base em um critério totalmente distinto. No teste dos pesquisadores, os modelos da família Qwen3-VL, com resposta direta, coincidiram com a escolha humana em apenas 37–41% dos casos, enquanto o palpite aleatório numa tarefa com três opções dá 33,3%.
O método CogAlign, de que trata a pesquisa, faz um ajuste fino do modelo nos critérios que as pessoas usam para escolher. Com isso, a taxa de concordância com humanos do Qwen3-VL-4B subiu de 53,37% (cadeia de raciocínio comum) para 56,81%. Para desenvolvedores, o recado é claro: se o produto agrupa mercadorias, modera imagens ou busca itens semelhantes, um modelo que "enxerga" o mundo de forma diferente da do usuário vai errar justamente onde tudo é óbvio para uma pessoa.
Por que o alinhamento convencional não resolve o problema
Normalmente, os modelos são "alinhados" com RLHF, em que pessoas avaliam as respostas e, a partir dessas notas, se treina um modelo de recompensa separado, ou com DPO, em que o modelo aprende diretamente com pares de resposta aceita e resposta rejeitada. Isso funciona bem para tirar do bot o hábito de ser grosseiro e para ensiná-lo a manter um formato organizado. Mas a coincidência da resposta final com a humana não diz nada sobre o caminho até ela.
O modelo pode ter notado que dois objetos são de metal. Ou pode simplesmente ter chutado, porque imagens parecidas apareciam com mais frequência em certo contexto nos dados de treinamento. Os autores do trabalho Aligning MLLMs with the Latent Structure of Human Cognition propõem ensinar ao modelo não só a resposta, mas também a razão da escolha.
De onde vieram os 66 critérios
A base é o projeto THINGS: 1854 conceitos de objetos reais e um grande experimento no formato odd-one-out (o item diferente). As pessoas viam três imagens e escolhiam a que menos se parecia com as outras duas. Foram reunidos cerca de 4,7 milhões de julgamentos humanos. O algoritmo SPoSE posicionou os objetos num espaço multidimensional e destacou 66 dimensões compreensíveis para humanos: alimentos, animais, têxteis, eletrônicos, transporte, plantas, objetos redondos, coisas peludas e macias, armas e perigo, medicina. A ratoeira recebe nota alta na dimensão "metálico ou artificial", e o porco-formigueiro, na dimensão "animal". Não se trata de 66 interruptores no cérebro, e sim de um modelo matemático construído a partir de respostas de pessoas.
Como funciona o treinamento
O CogAlign opera em três etapas. Primeiro, para cada trio de imagens, o método Jackknife remove uma dimensão por vez e observa como muda a chance de o par restante ser o mais semelhante. A dimensão com o efeito mais forte vira o critério principal, por exemplo "feito por humanos".
Depois, uma LLM comum transforma esse critério numa explicação coerente; ela não procura a resposta certa, apenas recebe o critério pronto. Por fim, o modelo multimodal passa por ajuste fino supervisionado (SFT) nesses exemplos. O conjunto reúne 309 329 exemplos: cerca de 80 mil tarefas cognitivas do THINGS e, no restante, reconhecimento de imagens, storytelling, busca por diferenças e outras tarefas, para que o modelo não se torne um especialista restrito em achar o item diferente.
Resultados e armadilhas
A avaliação usou 453 642 trios de imagens. Para o Qwen3-VL-4B, a concordância foi de 41,48% com resposta direta, 53,37% com cadeia de raciocínio comum e 56,81% após o CogAlign. Para o 8B, os números são 40,46%, 52,28% e 56,99%. Para o 30B-A3B, de arquitetura Mixture of Experts: 37,09%, 55,38% e 56,21%. O Centaur, modelo especializado de 70 bilhões de parâmetros treinado com dados de comportamento humano, marcou 51,96%, e os três Qwen3-VL superaram esse resultado após o CogAlign. Numa amostra de aproximadamente 75,6 mil tarefas, o Qwen2.5-VL-7B melhorou de 56,63% para 59,29%, e o Gemma3-12B, de 55,77% para 57,28%.
O resultado mais útil na prática diz respeito aos prompts. Ao inserir as 66 dimensões no prompt de sistema, o Qwen3-VL-4B chega a 52,70%, contra 53,37% com a cadeia de raciocínio comum. Quando o raciocínio se apoia em uma única dimensão escolhida, a precisão cai para 49,01%. Os modelos muitas vezes entravam em loop: listavam que o porco-formigueiro não é metálico, não é artificial, não é plano e não é verde, até acabarem os tokens. Cada afirmação é verdadeira, mas quase não tem relação com a tarefa. Se as explicações completas forem trocadas por rótulos curtos das dimensões, o resultado cai para 42,81%.
Não há ganho universal. No MMMU, os resultados subiram nas três versões do Qwen3-VL, mas no MMBench a acurácia do modelo 4B diminuiu de 82,96% para 81,39%. Além disso, entre as 66 dimensões há critérios estereotipadamente femininos e estereotipadamente masculinos, por isso vale revisar esses dados antes de usá-los.
A conclusão para equipes que ajustam modelos multimodais: se o objetivo é que o modelo escolha "como uma pessoa", uma longa lista de regras no prompt pode não ajudar e até prejudicar. É mais seguro fazer o ajuste fino com exemplos em que cada resposta vem acompanhada de uma explicação, misturando-os com tarefas comuns para preservar as habilidades gerais.
- 9 de out. de 2026Agentes com Qwen3.6-27B e Qwen3-4B não cumprem o orçamento de tempo sem dicas do harness
- 28 de out. de 2026Qwen 3.8 desviava requisições para proxy da Alibaba Cloud: até 4% de falhas nos testes
- 6 de nov. de 2026Editando 0,016% dos pesos, o GPT-6 Astra eleva a precisão do Qwen3.5-0.8B no MATH-500 de 7,9% para 48,1%
- 27 de out. de 2026WebAnything copia sozinho 244 sites para treinar agentes web
Perguntas frequentes sobre a notícia
Por que o alinhamento convencional não resolve o problema?
Normalmente, os modelos são "alinhados" com RLHF, em que pessoas avaliam as respostas e, a partir dessas notas, se treina um modelo de recompensa separado, ou com DPO, em que o modelo aprende diretamente com pares de resposta aceita e resposta rejeitada. Isso funciona bem para tirar do bot o hábito de ser grosseiro e para ensiná-lo a manter um formato organizado. Mas a coincidência da resposta final com a humana não diz nada sobre o caminho até ela. O modelo pode ter notado que dois objetos são de metal.
O que se sabe sobre De onde vieram os 66 critérios?
A base é o projeto THINGS: 1854 conceitos de objetos reais e um grande experimento no formato odd-one-out (o item diferente). As pessoas viam três imagens e escolhiam a que menos se parecia com as outras duas. Foram reunidos cerca de 4,7 milhões de julgamentos humanos.
Como funciona o treinamento?
O CogAlign opera em três etapas. Primeiro, para cada trio de imagens, o método Jackknife remove uma dimensão por vez e observa como muda a chance de o par restante ser o mais semelhante. A dimensão com o efeito mais forte vira o critério principal, por exemplo "feito por humanos". Depois, uma LLM comum transforma esse critério numa explicação coerente; ela não procura a resposta certa, apenas recebe o critério pronto. Por fim, o modelo multimodal passa por ajuste fino supervisionado (SFT) nesses exemplos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.