Omni-Woodpecker reduce las alucinaciones de los LLM omni sin reentrenamiento: +12,9 en CMM

Los modelos omni, que escuchan el audio y ven el vídeo al mismo tiempo, han aprendido a razonar de forma convincente, pero también a equivocarse con la misma convicción. Un grupo de investigadores de la Universidad de Nankín (Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He) ha propuesto Omni-Woodpecker, u OWP. Es un método que reduce las alucinaciones cross-modales sin ningún tipo de reentrenamiento. En Qwen2.5-Omni-7B suma 12,9 puntos en el benchmark CMM y 8,6 en AVHBench. El artículo se publicó en arXiv con el número 2610.27103 y llegó a Hugging Face Daily Papers.

Dónde se rompe el vínculo entre audio e imagen en los modelos omni

La alucinación cross-modal aparece cuando las pistas de audio y de vídeo dicen cosas distintas, o cuando una de ellas no ofrece una indicación inequívoca. El modelo no elige lo que realmente se registra en la entrada, sino lo que estadísticamente «suele ocurrir»: la combinación habitual de objetos y sonidos de los datos de entrenamiento pesa más que los hechos de un vídeo concreto.

La mayoría de las soluciones actuales actúan sobre la salida: corrigen la distribución de tokens durante la decodificación o filtran la respuesta ya generada. Los autores de OWP consideran que eso es tratar los síntomas. Cuando llega la decodificación, la evidencia de la entrada y los priors aprendidos ya están mezclados en las representaciones fusionadas, y separarlos en la salida resulta difícil.

Tres pasos dentro de los estados ocultos

OWP traslada la intervención de la salida a las representaciones internas y actúa en tres etapas:

1. Detección de conflictos. El método identifica contradicciones entre modalidades al contrastar las perspectivas sobre la entrada, específicas de cada una y complementarias entre sí. 2. Descomposición ortogonal. En los estados ocultos, el método separa el componente que se apoya en evidencia real (grounding evidence) de los priors que compiten con ella. 3. Reequilibrio adaptativo. Las representaciones fusionadas se reajustan: se atenúa la contribución de los priors engañosos y se refuerza la evidencia ignorada. Todo esto ocurre antes de la decodificación.

La lógica es la siguiente: si en el espacio oculto se logra aislar la dirección por la que el modelo «se inventa» detalles, se puede debilitar de forma puntual, sin tocar los pesos y sin lanzar un nuevo ciclo de entrenamiento. De ahí viene el calificativo training-free, que para los profesionales pesa más que cualquier métrica: no hacen falta ni anotación de datos ni horas de GPU para un fine-tuning.

Qué muestran las mediciones

Los autores probaron el método en dos arquitecturas y varios conjuntos de tareas:

• Qwen2.5-Omni-7B, benchmark CMM: +12,9 puntos.
• Qwen2.5-Omni-7B, benchmark AVHBench: +8,6 puntos.
• Qwen2.5-Omni-7B, cuatro benchmarks generales de razonamiento OLLM: mejora estable de entre 0,67 y 2,25 puntos.
• VideoLLaMA2-AV, los mismos dos benchmarks de alucinaciones: +4,6 y +3,9 puntos.

Lo revelador es la proporción. En las pruebas específicas de alucinaciones, la ganancia es de dos dígitos; en las tareas generales de razonamiento es modesta, pero no negativa. Suprimir los priors no daña las capacidades del modelo, algo que suele ser el precio de métodos de este tipo. La transferencia a VideoLLaMA2-AV, con otra arquitectura, indica que la técnica no depende del diseño de Qwen, aunque la mejora allí es menor.

A quién le sirve ya

El código está publicado en el repositorio Omni-Woodpecker (en el momento de la publicación tenía unas 94 estrellas), de modo que el método se puede probar en un stack propio. Los más beneficiados serán los equipos que construyen sobre modelos omni productos donde un error sale caro: análisis de videollamadas y grabaciones de reuniones, videovigilancia con sonido, descripciones automáticas de vídeos y asistentes de monitorización de medios. Ahí es donde el modelo más a menudo «oye» lo que no aparece en el encuadre, y viceversa.

El orden práctico de actuación es sencillo. Primero, ejecutar OWP con datos propios que contengan audio y vídeo deliberadamente contradictorios, y no solo con benchmarks públicos. Después, medir la latencia y el consumo de memoria: el análisis de conflictos por modalidades probablemente añade cómputo durante la inferencia. Por último, comparar con los métodos de decodificación de la generación anterior, porque se pueden combinar con la intervención en los estados ocultos. Los experimentos del artículo se limitan a modelos de clase 7B, y cómo se comportará el método en sistemas omni más grandes lo dirán verificaciones independientes.