En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

CogAlign enseñó a Qwen3-VL-4B a elegir el elemento sobrante como los humanos: 53% → 57% de coincidencias

Una red neuronal reconoce una ratonera, una caja de cerillas y un cerdo hormiguero, pero elige el objeto «sobrante» de forma distinta a como lo hace una persona. Con respuesta directa, Qwen3-VL coincidió con los humanos en el 37–41% de los casos, frente a un 33% del azar. El método CogAlign enseña al modelo los rasgos en los que se basan las personas para elegir (66 dimensiones semánticas extraídas de 4,7 millones de respuestas) y elevó la coincidencia de Qwen3-VL-4B del 53,37% al 56,81%. Incluir la lista de esos mismos rasgos en el prompt no ayudó: hacen falta ejemplos con su razonamiento.

Procesado por IA desde Habr AI; editado por Hamidun News
CogAlign enseñó a Qwen3-VL-4B a elegir el elemento sobrante como los humanos: 53% → 57% de coincidencias
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Una lista de 66 rasgos en el prompt dio un 52,70%, frente al 53,37% sin ella
Dato clave #2Centaur, con 70 mil millones de parámetros, obtuvo un 51,96%, por debajo de los tres Qwen3-VL
Dato clave #3En MMBench, la precisión del modelo de 4B cayó del 82,96% al 81,39%

Si se muestra a una persona una ratonera, una caja de cerillas y un cerdo hormiguero, en un par de segundos dirá que el intruso es el cerdo hormiguero: dos objetos los ha fabricado el ser humano y el tercero es un ser vivo. Una red neuronal multimodal, es decir, un modelo que trabaja tanto con imágenes como con texto, reconoce los tres objetos, pero puede elegir el sobrante según un criterio completamente distinto. En la prueba de los investigadores, los modelos de la familia Qwen3-VL con respuesta directa coincidieron con la elección humana solo en el 37–41% de los casos, mientras que el azar en una tarea con tres opciones da un 33,3%.

El método CogAlign, del que trata este artículo, reentrena el modelo con los rasgos en los que se basan las personas al elegir. Con él, la proporción de coincidencias con los humanos de Qwen3-VL-4B subió del 53,37% (con cadena de razonamiento convencional) al 56,81%. Para los desarrolladores, es una señal de alerta: si un producto agrupa artículos, modera imágenes o busca elementos similares, un modelo que «ve» el mundo de forma distinta a la del usuario fallará justo donde a una persona todo le parece evidente.

Por qué el ajuste habitual no resuelve el problema

Lo habitual es «alinear» (alignment) los modelos con RLHF, donde las personas puntúan las respuestas y, con esas puntuaciones, se entrena un modelo de recompensa aparte, o con DPO, donde el modelo aprende directamente de pares formados por una respuesta buena y otra rechazada. Esto funciona bien para que el bot deje de ser grosero y respete un formato ordenado. Pero que la respuesta final coincida con la humana no dice nada sobre el camino que llevó hasta ella.

El modelo pudo notar que dos objetos son de metal. O pudo simplemente acertar por azar, porque imágenes parecidas aparecían con más frecuencia en un contexto determinado de los datos de entrenamiento. Los autores del trabajo Aligning MLLMs with the Latent Structure of Human Cognition proponen enseñar al modelo no solo la respuesta, sino también el fundamento de la elección.

De dónde salen las 66 dimensiones

La base es el proyecto THINGS: 1854 conceptos de objetos reales y un gran experimento en formato «el intruso». A los participantes se les mostraban tres imágenes y se les pedía elegir la que menos se parecía a las otras dos. Se reunieron unos 4,7 millones de juicios humanos.

El algoritmo SPoSE colocó los objetos en un espacio multidimensional y extrajo 66 dimensiones comprensibles para las personas: comida, animales, textiles, electrónica, transporte, plantas, objetos redondos, cosas peludas y blandas, armas y peligro, medicina. La ratonera obtiene una puntuación alta en la dimensión «metálico o artificial»; el cerdo hormiguero, en la dimensión «animal». No son 66 interruptores en el cerebro, sino un modelo matemático construido a partir de las respuestas de las personas.

Cómo funciona el entrenamiento

CogAlign trabaja en tres etapas. Primero, para cada trío de imágenes, el método Jackknife va eliminando una dimensión cada vez y observa cómo cambia la probabilidad de que el par restante resulte el más parecido. La dimensión con el efecto más fuerte se convierte en el rasgo principal, por ejemplo «creado por el ser humano».

Después, un LLM convencional convierte ese rasgo en una explicación coherente; no busca la respuesta correcta, sino que recibe el criterio ya elaborado. Por último, el modelo multimodal se reentrena con esos ejemplos (SFT). El conjunto reúne 309 329 ejemplos: unas 80 mil tareas cognitivas de THINGS y, el resto, reconocimiento de imágenes, storytelling, búsqueda de diferencias y otras tareas, para que el modelo no se convierta en un especialista limitado en encontrar el intruso.

Resultados y letra pequeña

La evaluación se hizo con 453 642 tríos de imágenes. Para Qwen3-VL-4B, la coincidencia fue del 41,48% con respuesta directa, del 53,37% con cadena de razonamiento convencional y del 56,81% tras CogAlign. Para el modelo de 8B, las cifras son 40,46%, 52,28% y 56,99%. Para el 30B-A3B, con arquitectura Mixture of Experts: 37,09%, 55,38% y 56,21%. El modelo especializado Centaur, de 70 mil millones de parámetros y entrenado con datos de comportamiento humano, obtuvo un 51,96%, y los tres Qwen3-VL lo superaron tras CogAlign. En una muestra de unas 75,6 mil tareas, Qwen2.5-VL-7B mejoró del 56,63% al 59,29%, y Gemma3-12B, del 55,77% al 57,28%.

El resultado más práctico se refiere a los prompts. Si se incluyen las 66 dimensiones en el prompt de sistema, Qwen3-VL-4B logra un 52,70%, frente al 53,37% con la cadena de razonamiento convencional. Si razona a partir de una sola dimensión elegida, la precisión cae al 49,01%. Los modelos solían entrar en bucle: enumeraban que el cerdo hormiguero no es metálico, ni artificial, ni plano, ni verde, hasta que se agotaban los tokens. Cada afirmación es cierta, pero casi no guarda relación con la tarea. Si se sustituyen las explicaciones completas por etiquetas breves de las dimensiones, el resultado baja al 42,81%.

No hay una mejora universal. En MMMU, los resultados mejoraron en las tres versiones de Qwen3-VL, pero en MMBench la precisión del modelo de 4B bajó del 82,96% al 81,39%. Además, entre las 66 dimensiones hay rasgos estereotípicamente femeninos y estereotípicamente masculinos, por lo que conviene revisar estos datos antes de usarlos.

La conclusión para los equipos que ajustan modelos multimodales: si se quiere que el modelo elija «como una persona», una larga lista de reglas en el prompt puede no ayudar e incluso perjudicar. Es más fiable reentrenarlo con ejemplos en los que cada respuesta lleva su explicación, y mezclarlos con tareas habituales para conservar las capacidades generales.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el ajuste habitual no resuelve el problema?

Lo habitual es «alinear» (alignment) los modelos con RLHF, donde las personas puntúan las respuestas y, con esas puntuaciones, se entrena un modelo de recompensa aparte, o con DPO, donde el modelo aprende directamente de pares formados por una respuesta buena y otra rechazada. Esto funciona bien para que el bot deje de ser grosero y respete un formato ordenado. Pero que la respuesta final coincida con la humana no dice nada sobre el camino que llevó hasta ella. El modelo pudo notar que dos objetos son de metal.

¿Qué se sabe sobre De dónde salen las 66 dimensiones?

La base es el proyecto THINGS: 1854 conceptos de objetos reales y un gran experimento en formato «el intruso». A los participantes se les mostraban tres imágenes y se les pedía elegir la que menos se parecía a las otras dos. Se reunieron unos 4,7 millones de juicios humanos.

Cómo funciona el entrenamiento?

CogAlign trabaja en tres etapas. Primero, para cada trío de imágenes, el método Jackknife va eliminando una dimensión cada vez y observa cómo cambia la probabilidad de que el par restante resulte el más parecido. La dimensión con el efecto más fuerte se convierte en el rasgo principal, por ejemplo «creado por el ser humano». Después, un LLM convencional convierte ese rasgo en una explicación coherente; no busca la respuesta correcta, sino que recibe el criterio ya elaborado.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…