SLVR sobre Qwen2.5-VL-7B suma 14,2 puntos en BLINK Relation sin CoT textual

Los autores de SLVR muestran cómo lograr que un modelo multimodal se apoye en la imagen, y no adivine la respuesta a partir del texto de la pregunta, sin pagar por ello con una larga cadena de razonamiento en la salida. Sobre Qwen2.5-VL-7B, el método aportó +9,4 puntos en MMVP y +14,2 en BLINK Relation. También se registraron mejoras en V*, MathVista y ChartQA. Al responder, el modelo no genera razonamientos en texto.

Cuatro etapas latentes en lugar de un CoT largo

El problema es conocido. Los LLM multimodales responden con frecuencia a preguntas visuales a partir de priors lingüísticos, y no de lo que realmente aparece en la imagen. El chain-of-thought textual lo corrige en parte: el modelo divide la pregunta en pasos de búsqueda de evidencias. Pero esos pasos se generan de forma autorregresiva, y el coste de la inferencia crece con la longitud de la cadena. El razonamiento latente es más barato porque no hay texto explícito. A cambio, no está claro qué codifican exactamente los estados intermedios, y no se les puede asignar una señal de entrenamiento propia para la planificación, el anclaje a una región o la selección de evidencias.

SLVR intenta combinar lo mejor de ambos enfoques. El entrenamiento se hace en dos fases. Primero se enseña al modelo a mirar la imagen: se enmascaran los fragmentos del texto que delatan la respuesta y se contrapone la respuesta correcta a distractores visualmente verosímiles. Después, el razonamiento se descompone en etapas latentes tipadas: planificación, anclaje (grounding), selección de evidencias visuales e integración. Cada etapa recibe su propia supervisión: planes, recuadros (boxes), evidencias visuales y justificaciones finales, respectivamente. Así, los pasos latentes adquieren una estructura funcional, y en inferencia no hace falta generar una cadena de texto.

Qué muestran los benchmarks

Los autores probaron el método en un solo modelo base. Resultados declarados:

• base: Qwen2.5-VL-7B;
• MMVP: +9,4 puntos en términos absolutos;
• BLINK Relation: +14,2 puntos en términos absolutos;
• V*, MathVista, ChartQA: mejoras sin que el abstract indique su magnitud;
• inferencia: sin decodificación de CoT textual.

Hay varias salvedades. El abstract no incluye valores absolutos ni especifica con qué se comparó: el modelo original, un ajuste fino convencional o una variante con CoT textual. Eso influye mucho en la interpretación. MMVP es pequeño, por lo que la mejora en él puede ser ruidosa. Tampoco hay datos sobre el ahorro real en inferencia: el abstract afirma que no hay sobrecoste de decodificación, pero no se aportan mediciones de latencia ni de tokens. El trabajo es, por ahora, un preprint en arXiv y no cuenta con verificación independiente. La página del proyecto sí está publicada.

A quién le puede servir

La idea interesa sobre todo a los equipos que ajustan VLM abiertos para tareas de análisis visual preciso: lectura de gráficos, relaciones espaciales, búsqueda de objetos pequeños en una imagen. Donde un CoT textual resulta demasiado caro en latencia, un enfoque latente estructurado parece una alternativa razonable.

El precio está en los datos. El entrenamiento requiere planes, recuadros, evidencias visuales y justificaciones, es decir, un etiquetado notablemente más rico que los pares habituales «imagen — respuesta». Antes de llevar el método a producción, conviene estimar cuánto de ese etiquetado se puede obtener de forma automática y comprobar la mejora con datos propios, y no solo en benchmarks públicos. Otra cuestión es la depuración. En teoría, las etapas tipadas son más fáciles de analizar que los estados ocultos sin estructura, pero el abstract no lo confirma. Conviene verificarlo en el artículo completo y en el código.