VICO entrena un VLM con imágenes reescribibles: hasta +5,0% en tareas nuevas

El equipo autor del preprint arXiv 2610.10782 propone VICO, un esquema de posentrenamiento para modelos vision-language en el que, junto con el propio modelo, se entrena un «reescritor» del entorno. En nueve benchmarks multimodales de razonamiento matemático y de razonamiento visualmente fundamentado, VICO-8B supera al modelo base hasta en +5,0% en tareas fuera de dominio. También supera en 4,3% a los mejores baselines de autoevolución y en 8,4% a los baselines con edición textual de tareas. Frente a los métodos RLVR especializados en gráficos mantiene un nivel comparable, pero usa entre 16 y 160 veces menos ejemplos etiquetados.

El problema de partida le resultará familiar a cualquiera que haya trabajado con RLVR (aprendizaje por refuerzo con recompensas verificables). El conjunto de tareas es fijo, mientras que el modelo mejora. Una parte de los ejemplos se vuelve trivial, otra sigue sin resolverse y la señal útil de entrenamiento se colapsa. El remedio clásico consiste en comprar más anotación o recopilar datos nuevos a mano. Los autores plantean otra vía: cambiar el entorno a medida que evoluciona el actor.

Cómo funciona VICO

El circuito tiene dos componentes entrenables. El primero es el actor, es decir, el propio VLM. El segundo es Environment-as-Rewriter (EnvRewriter). Este no toca los píxeles directamente. Edita las estructuras verificables a partir de las cuales se genera la imagen: grafos de escena, tablas de datos que hay detrás de los gráficos y máscaras de regiones protegidas. Después, la imagen se vuelve a dibujar.

Así, la respuesta sigue siendo válida por construcción. Si se cambia un valor en la tabla de un gráfico, la respuesta correcta se recalcula a partir de esa misma tabla y no hace falta intervención humana. La recompensa del EnvRewriter se calcula a partir de la proporción de soluciones correctas del actor (pass rate): el editor recibe un incentivo por las tareas que quedan en el límite de las capacidades actuales del modelo, es decir, ni demasiado fáciles ni desesperadamente difíciles. La dificultad se acerca de forma continua al nivel del actor.

Esto distingue a VICO de los dos enfoques cercanos con los que los autores se comparan. Los métodos de autoevolución desarrollan el modelo con sus propios datos. La coevolución mediante edición textual cambia los enunciados, mientras que VICO reconstruye el lado visual de la tarea.

Qué muestran las cifras

La anotación del preprint permite saber lo siguiente:

• 9 benchmarks multimodales: razonamiento matemático y comprensión visualmente fundamentada;
• VICO-8B supera al modelo base hasta en +5,0% en tareas out-of-domain;
• +4,3% respecto al baseline de self-evolution más fuerte;
• +8,4% respecto al baseline con coevolución textual;
• paridad con los métodos RLVR especializados en gráficos con entre 16 y 160 veces menos muestras etiquetadas;
• no se usa anotación humana adicional en el ciclo.

Las salvedades son evidentes. Se trata de un preprint sin verificación independiente, y el «hasta +5,0%» corresponde al máximo entre benchmarks, no a la mejora media. La anotación no nombra el modelo base ni dice nada sobre el coste computacional de entrenar conjuntamente dos componentes. Además, el rango de «16 a 160 veces» indica que el ahorro en anotación depende mucho del competidor concreto.

Qué pueden probar los equipos

La idea principal se puede trasladar fuera del artículo: si tiene datos con una fuente estructural primaria (tablas detrás de gráficos, escenas, esquemas, anotación de regiones), puede construir sobre ellos un generador de tareas con respuestas garantizadamente correctas. Así, en lugar de un conjunto de datos puntual, obtiene un entorno controlable.

El mínimo práctico es el siguiente. Primero hay que medir la distribución del pass rate en los ejemplos de entrenamiento. Si la mayoría de las tareas se concentra cerca de 0 o cerca de 1, el RLVR estático ya ha tocado techo. Después conviene elegir una clase estrecha de datos con estructura verificable, por ejemplo gráficos, y probar un editor que mantenga la dificultad en la «ventana de trabajo» de los aciertos. Por último, hay que evaluar el resultado en conjuntos out-of-domain, porque es ahí donde los autores registran la ganancia principal.

La limitación también está clara. El enfoque exige imágenes que se puedan redibujar fielmente a partir de una estructura. Para fotografías arbitrarias, sin grafo de escena ni tabla, este camino queda cerrado, y no está claro hasta qué punto VICO escala a otros tipos de tareas visuales.