COFFEQA soma 8,77 EM à destilação few-shot no TriviaQA com o uso de contrafactuais

Pesquisadores propuseram o COFFEQA, um método para destilar um modelo de linguagem em tarefas de perguntas e respostas a partir de um contexto quando há apenas algumas dezenas de exemplos para o treinamento. No TriviaQA, com 32 pares e modelos da família T5, o método supera a destilação feita só com exemplos factuais em 8,77 pontos de EM médio e 9,98 pontos de F1 médio. Os experimentos cobrem cinco benchmarks de QA in-domain e três out-of-domain, e os modelos usados são T5 e Qwen2.5. O trabalho foi publicado no arXiv, na seção cs.CL, como preprint e ainda não passou por revisão por pares.

A escolha dos exemplos pesa mais do que parece

A destilação de conhecimento serve para que um modelo aluno pequeno reproduza o comportamento de um modelo professor grande, mesmo com recursos limitados. Em geral, o processo é caro: exige muitos dados e muito poder de computação. Isso fica mais evidente em tarefas generativas, nas quais o aluno imita uma resposta elaborada em vez de escolher uma classe. A destilação few-shot resolve parte do problema e transmite o conhecimento do professor a partir de uma amostra pequena.

A abordagem tem um ponto fraco. Os autores mostram que a qualidade depende muito de quais exemplos são usados. O resultado mais inesperado diz respeito aos exemplos incertos, próximos à fronteira de decisão do professor. Parece que esses seriam os mais úteis, mas, na prática, eles pioram de forma notável a destilação final. Com um orçamento pequeno, cada exemplo ruim custa caro.

Contrafactuais em vez de mais um fato

O COFFEQA acrescenta um sinal extra aos exemplos factuais difíceis. No modo open-book QA, em que o modelo responde com base em um contexto fornecido, o contrafactual é definido assim: um contexto minimamente alterado, após o qual o professor dá uma resposta diferente. O resultado é um par «contexto original — contexto editado», com duas respostas distintas do professor. O aluno passa a ver por onde passa a fronteira de decisão, e não apenas os pontos de um dos lados dela. Os autores apresentam uma justificativa geométrica: esses pares limitam a divergência entre as fronteiras do professor e do aluno.

Nem toda edição de contexto serve. Por isso, o trabalho introduz a métrica Context Following Difficulty (CFD). Ela verifica os contrafactuais antes do início da destilação, com base em dois critérios: se a resposta do professor coincide com a alternativa pretendida e se ela depende do contexto alterado. Só entram no treinamento os pares que passam nessa verificação.

O que se sabe a partir da descrição do trabalho:

• Método: destilação few-shot com pares «fato — contrafactual», selecionados pela CFD.
• Tarefa: open-book QA generativo.
• Modelos: famílias T5 e Qwen2.5.
• Benchmarks: cinco in-domain e três out-of-domain.
• Melhor resultado divulgado: TriviaQA, T5, 32 pares, +8,77 de EM médio e +9,98 de F1 médio em relação ao baseline.
• Condições de comparação: mesmo orçamento few-shot; o baseline usa apenas exemplos factuais.

O que fazer com isso na prática

Para uma equipe que comprime um modelo para RAG ou para busca interna em documentos, o trabalho traz duas conclusões concretas. Primeiro, não vale escolher para uma amostra pequena os exemplos mais controversos só porque são «difíceis»: segundo os autores, isso pode prejudicar o resultado. Segundo, gerar contrafactuais parece uma forma barata de extrair mais do mesmo número de exemplos. Basta alterar o contexto e verificar se o professor muda a resposta. Um filtro como a CFD pode ser reproduzido como uma etapa separada de controle de qualidade.

É preciso cautela também. A descrição não deixa claro como o método se comporta com modelos professores fechados e fora do QA com contexto. O número de +8,77 EM vale para um único conjunto de dados e uma única configuração, com T5 e 32 pares. Os resultados com Qwen2.5 e nos benchmarks out-of-domain não são detalhados no texto do abstract. Antes de incorporar a abordagem a um pipeline de produção, convém esperar pelo código, pelas tabelas completas e por reproduções independentes.