COFFEQA suma 8,77 EM a la destilación few-shot en TriviaQA gracias a los contrafactuales

Los investigadores proponen COFFEQA, un método para destilar un modelo de lenguaje que responda preguntas a partir de un contexto cuando solo hay unas pocas decenas de ejemplos de entrenamiento. En TriviaQA, con 32 pares y modelos de la familia T5, el método supera a la destilación basada solo en ejemplos factuales por 8,77 puntos de EM medio y 9,98 puntos de F1 medio. Los experimentos abarcan cinco benchmarks de QA in-domain y tres out-of-domain, con T5 y Qwen2.5 como modelos. El trabajo se publicó en arXiv, en la sección cs.CL, como preprint y todavía no ha pasado revisión por pares.

Elegir los ejemplos pesa más de lo que parece

La destilación de conocimiento sirve para que un modelo alumno pequeño replique el comportamiento de un modelo profesor grande cuando los recursos son limitados. Por lo general, el proceso es voraz: exige muchos datos y mucho cómputo. Se nota sobre todo en las tareas generativas, donde el alumno imita una respuesta desarrollada en lugar de elegir una clase. La destilación few-shot resuelve parte del problema y transfiere el conocimiento del profesor con una muestra pequeña.

El enfoque tiene un punto débil. Los autores muestran que la calidad depende mucho de las muestras concretas. El resultado más inesperado tiene que ver con los ejemplos inciertos cercanos a la frontera de decisión del profesor. Parece que son justo los más útiles. En la práctica, empeoran de forma notable la destilación final. Con un presupuesto pequeño, cada muestra desafortunada sale cara.

Contrafactuales en vez de un ejemplo factual más

COFFEQA añade una señal adicional a los ejemplos factuales difíciles. En el modo open-book QA, donde el modelo responde a partir de un contexto dado, el contrafactual se define así: es un contexto modificado lo mínimo posible, tras el cual el profesor da una respuesta distinta. El resultado es un par «contexto original — contexto editado» con dos respuestas distintas del profesor. El alumno ve por dónde pasa la frontera de decisión, y no solo los puntos de uno de sus lados. Los autores aportan una justificación geométrica: estos pares acotan la divergencia entre las fronteras del profesor y del alumno.

No cualquier edición del contexto sirve. Por eso el trabajo introduce la métrica Context Following Difficulty (CFD). Esta comprueba los contrafactuales antes de empezar la destilación con dos criterios: si la respuesta del profesor coincide con la alternativa prevista y si depende del contexto modificado. Solo los pares que superan la comprobación entran en el entrenamiento.

Lo que se sabe a partir de la descripción del trabajo:

• Método: destilación few-shot con pares «hecho — contrafactual» seleccionados mediante CFD.
• Tarea: open-book QA generativo.
• Modelos: familias T5 y Qwen2.5.
• Benchmarks: cinco in-domain y tres out-of-domain.
• Mejor resultado citado: TriviaQA, T5, 32 pares, +8,77 de EM medio y +9,98 de F1 medio respecto al nivel base.
• Condiciones de comparación: el mismo presupuesto few-shot; el nivel base usa solo ejemplos factuales.

Qué hacer con esto en la práctica

Para un equipo que comprime un modelo para RAG o para búsqueda interna en documentos, el trabajo deja dos conclusiones concretas. Primero, con una muestra pequeña no conviene tomar los ejemplos más controvertidos solo porque sean «difíciles»: según los autores, eso puede perjudicar. Segundo, generar contrafactuales parece una forma barata de sacar más partido al mismo número de muestras. Basta con modificar el contexto y comprobar si el profesor cambia su respuesta. Un filtro como CFD puede reproducirse como un paso independiente de control de calidad.

También conviene ser prudente. De la descripción no queda claro cómo se comporta el método con modelos profesor cerrados ni fuera del QA por contexto. La cifra de +8,77 EM corresponde a un único conjunto de datos y a una sola configuración, con T5 y 32 pares. Los resultados con Qwen2.5 y out-of-domain no se detallan en el texto del resumen. Antes de integrar el enfoque en un pipeline de producción, conviene esperar al código, a las tablas completas y a reproducciones independientes.