Auditoría de POPE: la elección de los tokens «yes/no» desplaza el F1 de LLaVA-1.5 en 6,13 puntos

Los autores de un preprint intentaron reproducir un resultado reciente de reducción de alucinaciones en el benchmark POPE y se toparon con la propia evaluación. LLaVA-1.5-7B base obtuvo un F1 de 82,21 en el split adversarial. Es entre 1,21 y 8,67 puntos más que las líneas base con las que pensaban comparar el método: 81,00, 79,30 y 73,54. Esa dispersión resultaba sospechosa. La causa estaba en el código: la forma de extraer la respuesta «sí» o «no» a partir de los logits desplaza por sí sola la métrica.

Dónde falla la extracción de la respuesta

La implementación con lectura de dos tokens compara los logits de dos IDs del vocabulario: 3582 («yes») y 1217 («no»). En 9000 preguntas de los tres splits, con decodificación voraz, el modelo no generó ninguno de esos tokens. En su lugar produce « Yes» (3869) y « No» (1939). SentencePiece añade un byte de espacio tras el sufijo del prompt «ASSISTANT:», y la palabra recibe otro identificador.

Los autores sustituyeron la lectura por una tabla de ocho tokens que cubre las formas con espacio. LLaVA-1.5-7B obtuvo estos resultados:

• adversarial: F1 0,8221;
• popular: F1 0,8498;
• random: F1 0,8713;
• desplazamiento en adversarial por el cambio de lectura: 6,13 puntos.

De la última cifra se deduce que la variante anterior daba aproximadamente 76,1 en adversarial. Es un cálculo nuestro; el resumen del artículo no menciona ese valor. La mejora atribuible al cambio de protocolo supera la declarada en cinco de los seis artículos revisados. Ninguno de ellos indica cómo extraía la respuesta.

Qué no afirman los autores

La conclusión es prudente. La ejecución de referencia se hizo con cuantización NF4 de 4 bits, así que no se puede saber qué parte de las mejoras declaradas resistiría una comprobación con la misma lectura y la misma precisión. La cuestión sigue abierta mientras no coincidan ambos parámetros. El trabajo no acusa a nadie de inflar resultados. Lo que sostiene es que las comparaciones sin un protocolo descrito no pueden considerarse correctas.

Sobre la línea base corregida, los autores probaron nueve correcciones propias en la fase de inferencia. Ninguna la superó. También estudiaron por qué el split adversarial no responde a intervenciones a nivel de logits. En una muestra de 3000 preguntas, las respuestas incorrectas recibían más atención hacia la imagen que las correctas: Cohen's d = −0,46, p = 1,4×10⁻²⁴. Esto contradice el supuesto de los métodos que refuerzan la vinculación con la imagen, que parten de que el error surge por falta de atención a la imagen.

Un problema de protocolo, no de un solo modelo

Para comprobar que el problema no era exclusivo de LLaVA, los autores tomaron otras cuatro VLM de tres familias de tokenizadores. Trasladar sin cambios los IDs de LLaVA-1.5 reduce el F1 a cero en dos modelos con vocabularios que no se solapan. La lectura derivada del tokenizador de cada modelo se mantiene en el rango de 0,80 a 0,92. Por tanto, el benchmark es sensible a los detalles de tokenización en cualquier combinación de modelo y prompt.

Qué hacer al comparar modelos

Conclusión práctica para quienes publican o leen resultados en POPE y en otros benchmarks de yes/no similares:

• Compruebe qué tokens aparecen realmente en la decodificación voraz antes de calcular las métricas.
• Construya la tabla de respuestas válidas a partir del tokenizador de cada modelo, incluidas las formas con espacio y con distinta capitalización.
• Indique el método de lectura y la precisión de los pesos (por ejemplo, NF4 o fp16) en la descripción del experimento.
• Recalcule las líneas base ajenas con su propio código en lugar de tomar las cifras de las tablas.

Mientras no se fije el protocolo, una diferencia de uno o dos puntos de F1 en POPE puede reflejar la elección de tokens y no la calidad del método contra las alucinaciones.