Estudio: el sobreajuste y el cómputo extra se llevan el 68% de la mejora de la evolución del harness

Cuando un equipo evoluciona automáticamente el harness que rodea a un LLM congelado, las métricas suben sin actualizar un solo peso. Un nuevo trabajo de Hugging Face Daily Papers comprueba cuánto de ese avance es real. Los autores presentan el protocolo Harness-Delta Attribution (HDA) y lo aplican a 11 modelos ejecutores y tres frameworks de evolución del harness. El resultado es incómodo: en 21 configuraciones con una mejora estadísticamente significativa en el conjunto de búsqueda, de media el 54% de la ganancia se debe al sobreajuste a artefactos del benchmark y otro 14% lo aporta el presupuesto de cómputo adicional en inferencia.

Qué descompone exactamente HDA

El harness es todo lo que rodea al modelo: los prompts de sistema, las descripciones de habilidades, el conjunto de herramientas y el código de orquestación. Los frameworks evolutivos reescriben estos componentes de forma iterativa y se quedan con las versiones que obtienen mejores resultados en el search set. Los pesos del modelo permanecen fijos, por lo que este enfoque parece una alternativa barata al ajuste fino.

El problema es que la cifra final, «era 40, ahora es 52», mezcla varios efectos. HDA divide la mejora en tres partes:

• sobreajuste, es decir, la ganancia que proviene de artefactos del conjunto de búsqueda concreto;
• efecto de test-time scaling, cuando el harness evolucionado simplemente gasta más tokens, intentos o pasos;
• un residuo, que los autores interpretan como el límite superior de la mejora generalizable.

El residuo no demuestra que la mejora se transfiera. Es el máximo que podría quedar tras restar los dos primeros componentes.

Las cifras de las 21 configuraciones

Los experimentos abarcan matemáticas, programación, tareas creativas y tareas de agentes. Solo se seleccionaron los casos en los que la mejora en el conjunto de búsqueda es estadísticamente significativa. Resultaron ser 21.

• Media de estos casos: el sobreajuste explica el 54% de la mejora y el test-time scaling, el 14%.
• En 14 de las 21 configuraciones, la suma de ambos factores supera el 50%.
• Si se suman los promedios, el residuo equivale a cerca de un tercio de la ganancia inicial. Es un promedio, no una garantía para una configuración concreta.
• El tamaño del residuo y la transferencia a tareas reservadas dependen mucho del tipo de tarea, del modelo y del framework.

Otra conclusión se refiere a la validación. Las señales basadas en un conjunto de validación no evitan el sobreajuste. Un equipo que detiene la evolución según la mejor puntuación de validación puede acabar igualmente con un harness ajustado a su propio benchmark. Además, las ganancias en el search set a menudo no se transfieren a tareas reservadas. Hay pocos datos que indiquen que sobrevivirían a un cambio de distribución en la práctica.

Cómo evaluar la evolución del harness en la práctica

Para los equipos que construyen agentes, la conclusión es pragmática. Un informe que diga «el harness aportó +12 puntos» sin desglose dice por sí solo muy poco. Hay que comprobar al menos tres cosas. Primera: cómo se comporta el resultado en tareas realmente reservadas, que no hayan participado ni en la búsqueda ni en la selección del checkpoint. Segunda: cuánto cómputo por tarea gasta ahora el nuevo harness y qué resultado daría la versión base con el mismo presupuesto. Tercera: cuán estable es el resultado si se modifica ligeramente la distribución de las tareas, por ejemplo las formulaciones, los dominios o las herramientas.

Para quienes investigan frameworks de evolución, el trabajo eleva el listón: comparar una sola métrica en el search set ya no parece suficiente. La atribución de la mejora pasa a ser parte de la metodología, igual que las ablaciones en el aprendizaje automático convencional.

También hay limitaciones. El residuo en HDA es un límite superior, no una capacidad de generalización medida, y las conclusiones se apoyan en 21 configuraciones. Pero la dirección está clara. Mientras la evaluación no separe la mejora real del agente del ajuste excesivo y del cómputo adicional, conviene tomar las afirmaciones de que el harness se puede mejorar automáticamente sin actualizar los pesos con un descuento de aproximadamente dos tercios de la mejora.