KAIST enseña a los VLM de difusión a no mirar la imagen: 35% del cómputo con 99,6% de la calidad

Un grupo de KAIST ha propuesto una forma de acelerar los modelos multimodales de difusión, es decir, redes neuronales que entienden imágenes y texto y generan la respuesta no palabra a palabra, sino por lotes, «revelando» poco a poco tokens enmascarados. El método se llama LOWN (Look Only When Needed, «mira solo cuando haga falta»). En diez benchmarks conserva el 99,6% de la puntuación del modelo LLaDA-V con el 35,3% de su coste computacional de decodificación. No hace falta reentrenar el modelo ni ajustar umbrales.

Por qué el modelo recalcula en vano la misma imagen

Los VLM de difusión (DVLM) tienen una particularidad de diseño. Su atención es bidireccional, por lo que el caché exacto de claves y valores, habitual en los modelos autorregresivos, no funciona directamente. La inferencia convencional procesa en cada paso toda la secuencia: imagen, prompt y respuesta. Los tokens visuales ocupan entre el 89 y el 97% de ella, y una pasada sin ellos cuesta solo entre el 3 y el 10% de una completa. Es decir, la mayor parte del cómputo se dedica a reprocesar una imagen que no cambia.

Los autores comprobaron con qué frecuencia se necesita realmente la imagen. Compararon las predicciones de LLaDA-V con y sin imagen sobre una misma trayectoria de decodificación, en los diez benchmarks:

• En el 83,4% de las posiciones que el modelo iba a revelar, el token más probable coincidió en ambos modos. • El 85,0% de los tokens finales ya había aparecido como mejor predicción en su posición antes del momento de revelarse. • La imagen cambiaba el token revelado solo en el 22,8% de los pasos de media. La dispersión es grande: 7,9% en MMBench y 43,8% en DocVQA, donde hay que leer texto de documentos escaneados.

En ocho de los diez benchmarks, las discrepancias se concentran al inicio de la generación, pero el patrón no es universal; DeCapBench es un ejemplo. Por eso un calendario fijo del tipo «miramos la imagen cada N pasos» funciona mal: la necesidad de la imagen depende tanto de la tarea como del paso concreto.

Cómo decide LOWN si hace falta la imagen

Tras cada pasada completa (con imagen), el método guarda sus predicciones y su confianza como «ancla». En los pasos siguientes ejecuta una pasada barata sin tokens visuales, conservando los índices posicionales. Después el esquema es el siguiente:

• Las posiciones enmascaradas se ordenan por la confianza del ancla. • Un token se considera confirmado si la predicción sin imagen coincide con el ancla. • Se toma el prefijo más largo de tokens confirmados consecutivos. La primera discrepancia lo corta. • Si el prefijo no es más corto que el número habitual de tokens por paso, se omite la pasada completa. Se acepta todo el prefijo, de modo que en un solo paso pueden revelarse más tokens que en el modelo base. • Si el prefijo es más corto, se lanza una pasada completa. Esta actualiza el ancla y revela primero las posiciones donde las predicciones con y sin imagen divergieron.

El número de pasos no supera el del modelo base, y la longitud del prefijo aceptado la determina la propia entrada, sin un umbral fijado a mano. La confirmación a veces falla: una pasada completa reciente revierte entre el 2,2 y el 4,7% de los tokens revelados en pasos sin imagen. Para que el error no se acumule, el ancla se sustituye por completo en cada pasada completa.

Qué se obtuvo en los experimentos

La evaluación se hizo en diez benchmarks: pruebas de opción múltiple, comprensión de documentos y gráficos, problemas matemáticos y descripciones detalladas de imágenes. Entre los métodos de aceleración con un presupuesto igual o mayor que el de LOWN, lidera en ocho de los diez. En la comparación participaron la poda de tokens visuales (RedVTP, ZOO-Prune), el calendario de revelado KLASS y el caché Fast-dLLM.

Un detalle importante: LOWN no sustituye a otros métodos, sino que se suma a ellos. Cambia la frecuencia con que hace falta una pasada completa, mientras que la poda y el caché abaratan la pasada en sí. Combinado con la poda o con el caché, reduce el coste del método asociado entre 1,8 y 2,5 veces. Junto con el caché, la decodificación es entre 5,6 y 7,0 veces más rápida que la del modelo original. La misma regla se traslada a LaViDa y VidLaDA, es decir, a otros DVLM y a vídeo.

Qué aporta a los ingenieros

Si ejecutas VLM de difusión sobre documentos o gráficos, la principal partida de gasto es el reprocesamiento de la imagen. LOWN la reduce sin reentrenamiento ni ajuste de hiperparámetros para cada tarea, por lo que puede incorporarse en la etapa de inferencia. Conviene tener en cuenta una limitación: la ganancia depende del benchmark. Cuantos más tokens visuales tenga la consulta y menos a menudo necesite la respuesta la imagen, mayor es el ahorro. En tareas como DocVQA, donde la imagen hace falta en casi la mitad de los pasos, el ahorro es más modesto. Los autores han publicado el código y la página del proyecto.