Auditoria do POPE: a escolha dos tokens «yes/no» desloca o F1 do LLaVA-1.5 em 6,13 pontos

Os autores de um preprint tentaram reproduzir um resultado recente de redução de alucinações no benchmark POPE e esbarraram na própria avaliação. O LLaVA-1.5-7B base obteve F1 de 82,21 no split adversarial. Isso fica de 1,21 a 8,67 pontos acima das linhas de base com as quais o método seria comparado: 81,00, 79,30 e 73,54. Uma dispersão dessas parecia suspeita. A causa estava no código: a forma de extrair a resposta «sim» ou «não» dos logits já desloca a métrica por si só.

Onde a extração da resposta quebra

A implementação com leitura de dois tokens compara os logits de dois IDs do vocabulário: 3582 («yes») e 1217 («no»). Em 9000 perguntas nos três splits, com decodificação gulosa, o modelo não gerou nenhum desses tokens. Em vez deles, produz « Yes» (3869) e « No» (1939). O SentencePiece adiciona o byte de espaço depois do sufixo do prompt «ASSISTANT:», e a palavra passa a ter outro identificador.

Os autores trocaram a leitura por uma tabela de oito tokens, que cobre as formas com espaço. O LLaVA-1.5-7B teve estes resultados:

• adversarial: F1 0,8221;
• popular: F1 0,8498;
• random: F1 0,8713;
• deslocamento no adversarial causado pela troca da leitura: 6,13 pontos.

Desse último número, conclui-se que a versão anterior resultava em cerca de 76,1 no adversarial. Este é um cálculo nosso; o resumo do artigo não informa esse valor. O ganho provocado pela mudança de protocolo supera o declarado em cinco dos seis artigos examinados. Nenhum deles informa como extraiu a resposta.

O que os autores não afirmam

A conclusão é cautelosa. A execução de referência usou quantização NF4 de 4 bits, então não dá para dizer que parcela dos ganhos declarados sobreviveria a uma verificação com a mesma leitura e a mesma precisão. A questão continua em aberto até que os dois parâmetros coincidam. O trabalho não acusa ninguém de inflar resultados. O ponto é que comparações sem protocolo descrito não podem ser consideradas corretas.

Sobre a linha de base corrigida, os autores rodaram nove correções próprias na etapa de inferência. Nenhuma a superou. Eles também investigaram por que o split adversarial resiste a intervenções no nível dos logits. Em uma amostra de 3000 perguntas, as respostas erradas receberam mais atenção à imagem do que as corretas: Cohen's d = −0,46, p = 1,4×10⁻²⁴. Isso contradiz a premissa dos métodos que reforçam a ancoragem na imagem, que partem da ideia de que o erro surge por falta de atenção à imagem.

Um problema de protocolo, não de um único modelo

Para verificar que o problema não era exclusivo do LLaVA, os autores testaram outros quatro VLMs de três famílias de tokenizadores. Reaproveitar os IDs do LLaVA-1.5 sem alterações zera o F1 em dois modelos com vocabulários que não se sobrepõem. Já a leitura derivada do tokenizador de cada modelo se mantém na faixa de 0,80 a 0,92. Ou seja, o benchmark é sensível a detalhes de tokenização em qualquer combinação de modelo e prompt.

O que fazer ao comparar modelos

A conclusão prática para quem publica ou lê resultados no POPE e em outros benchmarks yes/no semelhantes:

• Verifique quais tokens realmente aparecem na decodificação gulosa antes de calcular as métricas.
• Monte a tabela de respostas válidas a partir do tokenizador do modelo em questão, incluindo formas com espaço e com diferentes capitalizações.
• Informe o método de leitura e a precisão dos pesos (por exemplo, NF4 ou fp16) na descrição do experimento.
• Recalcule as linhas de base de terceiros com o seu próprio código, em vez de copiar números de tabelas.

Enquanto o protocolo não estiver fixado, uma diferença de um ou dois pontos de F1 no POPE pode refletir a escolha dos tokens, e não a qualidade do método contra alucinações.