La métrica Seq@K altera el ranking de la IA con retroalimentación en 7 benchmarks y 16 modelos

Investigadores de Columbia Business School y de la Universidad de California en Santa Bárbara han propuesto la métrica Seq@K. Mide si un modelo de lenguaje resuelve una tarea a más tardar en el intento K, cuando tras cada fallo recibe retroalimentación y puede corregir su respuesta. Los autores aplicaron el protocolo a 7 variantes de benchmarks y a 16 modelos de vanguardia. Su conclusión: el ranking habitual por pass@K, donde los intentos son independientes y el modelo no ve ninguna crítica, predice mal cómo se comportará en un ciclo agéntico real de «respuesta, observación, corrección».

En qué se diferencia Seq@K de pass@K

Pass@K da una tarea por resuelta si al menos una de las K respuestas independientes supera la verificación. Cada candidato se genera a partir del mismo prompt inicial. En Seq@K, cada intento siguiente ve las respuestas anteriores y los comentarios sobre ellas. Si un intento tiene éxito, el ciclo se detiene.

Los autores subrayan que esto no sustituye a benchmarks agénticos como SWE-bench, WebArena o MINT. En ellos, el éxito depende de la planificación, del uso de herramientas y del seguimiento del estado. Seq@K aísla una sola habilidad: lo bien que el modelo corrige su trabajo a partir de las observaciones.

El protocolo depende del modo de retroalimentación. Hay tres: solo el veredicto «pasa/no pasa»; el diagnóstico en bruto del sistema verificador (trazas, tests fallidos, desglose por puntos de la rúbrica); y una crítica redactada por un modelo de lenguaje, el mismo u otro, con acceso a la rúbrica de evaluación o sin él.

El conjunto de tareas abarca código (MBPP Pro y HumanEval Pro), seguimiento complejo de instrucciones (AdvancedIF), razonamiento en un dominio específico (CLBench DKR) y respuestas médicas evaluadas por rúbricas (HealthBench).

Rankings, elección de modelo y coste

Al pasar a Seq@K, el orden de los modelos cambia de verdad. En AdvancedIF, Sonnet sube del último puesto con intentos independientes al grupo de cabeza, y en CLBench DKR se observan reordenaciones similares.

Los autores comprobaron la consecuencia práctica en una tarea de selección de modelo. Un ingeniero toma varias tareas de calibración, elige un modelo y luego lo despliega con retroalimentación secuencial en tareas nuevas. El resultado: una calibración corta con Seq@K elige el mejor modelo para ese escenario con un coste comparable o inferior. El experimento se hizo con MBPP Pro y HumanEval Pro, donde las tareas se dividieron en dos grupos: calibración con uno y evaluación con el otro, y viceversa. La mayor ganancia se obtuvo en HumanEval Pro.

La brecha entre modelos también depende de la métrica. En AdvancedIF, con retroalimentación en bruto, la distancia entre el mejor y el peor modelo se reduce. En HumanEval Pro y MBPP Pro, en cambio, aumenta: los modelos aprovechan de forma distinta los detalles sobre los tests fallidos. Por tanto, pass@K puede tanto subestimar como sobrestimar las diferencias entre ellos.

También hay un efecto en los costes. Los intentos secuenciales arrastran un contexto cada vez mayor, pero el éxito suele llegar antes. En dos benchmarks, la frontera de Pareto (el conjunto de opciones que no se pueden abaratar sin perder calidad) de Seq@K es mejor que la de los intentos independientes. Se aprecia con más claridad en DKR: el muestreo independiente resuelve solo una parte limitada de las tareas, mientras que la retroalimentación secuencial alcanza un nivel claramente superior. El mejor resultado allí lo logró Opus 4.7.

Cómo corrigen los modelos sus respuestas y qué crítica funciona

Las trayectorias de los intentos muestran comportamientos que el porcentaje final no revela. Unos modelos ganan en el primer reintento y otros en los tardíos. Una parte de ellos ignora las observaciones y reenvía la misma respuesta sin cambios. Además, una corrección que atiende todas las observaciones puede romper requisitos que antes se cumplían.

La calidad de la propia retroalimentación también resultó ser una variable. La utilidad de una crítica informativa depende tanto del benchmark como de la capacidad del modelo. Una crítica redactada con la rúbrica de evaluación a la vista ayuda a corregir muchos más requisitos incumplidos. Si el historial de intentos previos se comprime en un resumen breve, la proporción de éxitos puede caer, por lo que los autores recomiendan indicar el método de almacenamiento del historial junto al resultado de Seq@K.

Limitaciones

Seq@K presupone una retroalimentación privilegiada: el crítico o el verificador conoce la respuesta correcta o los criterios de evaluación. Eso ocurre cuando un usuario le explica al agente qué falla exactamente, pero en escenarios autónomos sin verificador la métrica no puede reproducirse. Además, el valor de Seq@K solo está definido junto con el modo de retroalimentación, el verificador, los parámetros de decodificación y el presupuesto de intentos, de modo que no se pueden comparar cifras de configuraciones distintas.

La conclusión práctica para los equipos que construyen agentes: si el producto funciona con un ciclo de correcciones, conviene calibrar el modelo dentro de ese mismo ciclo. La retroalimentación en sí debe diseñarse y probarse por separado, como parte del sistema.