Una cabeza lineal sobre Qwen3-VL supera a GPT-4o al evaluar respuestas sin etiquetas humanas

Los investigadores han demostrado que un modelo de recompensa multimodal no necesita anotadores. Una cabeza lineal sobre una capa intermedia de un Qwen3-VL congelado aprende a puntuar la descripción web de una imagen por encima de su versión distorsionada, y nada más. A escala 32B, la misma receta, sin reajustes, iguala o supera a GPT-4o en tres benchmarks y lo aventaja por 6,6 puntos en VL-RewardBench. Los parámetros entrenables son unos pocos miles, y el cálculo necesario es unas mil veces menor que en un fine-tuning.

Cómo funciona la receta

Lo habitual es entrenar los modelos de recompensa para visión-lenguaje con pares de preferencias etiquetados. Ese etiquetado es caro, los anotadores discrepan entre sí y la calidad se mide después por precisión en un benchmark. Los autores sacan al humano del entrenamiento. Toman una descripción de imagen corriente de internet, la deterioran (el resumen no detalla cómo es el muestreador) y enseñan a la cabeza a preferir el original. Los datos etiquetados solo se necesitan en un punto: para elegir de qué capa extraer las características.

Esa elección resultó decisiva. La capa intermedia rinde 5,8 puntos más que la última. Al parecer, las últimas capas están demasiado orientadas a predecir el siguiente token, mientras que la parte media de la red conserva mejor las diferencias entre una descripción correcta y una incorrecta de la imagen.

Qué muestran las cifras

Principales resultados del trabajo:

• con 32B, en tres benchmarks el modelo iguala o supera a GPT-4o;
• en VL-RewardBench la ventaja es de 6,6 puntos;
• se entrenan unos miles de parámetros, con un coste de aproximadamente 1/1000 del fine-tuning;
• con el mismo presupuesto de pares, las perturbaciones aportan a la cabeza congelada entre 3 y 5 puntos más que los pares curados de RLAIF-V;
• la receta se transfiere entre benchmarks sin volver a ajustarse.

Como el backbone está congelado, el problema de entrenar la cabeza es convexo. El resultado no depende de una inicialización afortunada ni del ruido aleatorio de la optimización, y por eso es más fácil de reproducir.

El benchmark no dice qué has evaluado en realidad

La parte más interesante del trabajo se refiere a los propios benchmarks. La recompensa la define el muestreador de perturbaciones, no la posición en una tabla. Los autores entrenaron dos cabezas con mitades disjuntas de las mismas perturbaciones. En el benchmark obtuvieron el mismo resultado. En la evaluación de alucinaciones, divergieron en 6,4 puntos. Dos modelos con la misma cifra en el leaderboard se comportan de forma distinta justo donde importa para el producto.

Hay también un ejemplo en sentido contrario. Reentrenaron la cabeza con candidatos de la propia política, etiquetados por un verificador. Las alucinaciones en las descripciones, medidas con CHAIR, bajaron 5,1 puntos, y la proporción de generaciones de imágenes exitosas subió 5,4. Sin embargo, en todos los benchmarks de recompensa esa cabeza obtuvo peores resultados. La mejora en la tarea objetivo vino acompañada de una caída en la tabla, porque la tabla medía otra cosa.

Conclusión práctica

Para un equipo que aplique RLHF o RLAIF a un modelo multimodal, conviene probar primero la opción barata: una sonda lineal sobre las capas medias de un modelo congelado y pares «original — distorsión» generados automáticamente. Cuesta una fracción mínima de un fine-tuning y ofrece una línea base sólida sin contratar etiquetadores. La capa conviene elegirla con una muestra etiquetada pequeña: es el parámetro más sensible.

La segunda conclusión afecta a la evaluación. Un solo benchmark no revela qué comportamiento está codificado en la recompensa. Si el modelo de recompensa se necesita para combatir las alucinaciones, hay que validarlo por separado en alucinaciones y, si es posible, ajustarlo con candidatos de la propia política y un verificador. Una salvedad: todas las cifras proceden de un preprint en arXiv y todavía no hay verificación independiente; los detalles del muestreador de perturbaciones conviene consultarlos en el texto completo del trabajo.