SynAct enseña a los agentes LLM a pedir ayuda donde cambia el resultado: +11,7 p. p.

Los autores de SynAct proponen una nueva forma de repartir la retroalimentación experta para agentes LLM: no por tareas, sino por decisiones individuales dentro de la trayectoria. En cuatro benchmarks agénticos y cuatro modelos de tres familias, el método mejoró la precisión en la muestra reservada en las 16 configuraciones evaluadas, con una media de 11,7 puntos porcentuales. La misma señal resultó útil para el enrutamiento en la fase de inferencia: SynAct superó a los enrutadores en cascada, basados en incertidumbre y de tipo «experto-juez» con presupuesto equivalente en 15 de 16 casos.

Dos causas por las que un agente falla

La idea de partida del trabajo es sencilla. Un agente que ejecuta un flujo de trabajo de varios pasos falla por dos motivos distintos. El primero son los fallos aleatorios: un nuevo intento los corrige. El segundo son las lagunas de conocimiento: por muchas veces que se repita, el agente seguirá realizando la misma acción errónea. Para este segundo tipo hace falta un experto, pero su tiempo es limitado. Por eso, como plantean los autores, la cuestión no es si pedir retroalimentación, sino dónde puede cambiar el resultado.

Según los autores, los enfoques existentes tropiezan con uno de dos problemas. Unos prescinden de expertos, y el agente acaba reforzando sus propios errores. Otros reparten la retroalimentación a nivel de tarea completa y no determinan qué decisiones concretas fueron determinantes.

Cómo decide SynAct dónde preguntar

El framework considera la atención del experto como la restricción principal y trabaja a nivel de decisiones individuales. Ejecuta la tarea varias veces y, para cada decisión, estima la información mutua entre la acción elegida y el resultado final. Si el resultado no depende de la acción elegida, la información es nula y no hay nada que preguntar. Las decisiones con la puntuación más alta se envían al experto. Después, sus correcciones se convierten en reglas transferibles que el agente aplica en su trabajo ya sin acceso al experto.

Hay también una parte teórica. Con k ejecuciones y al menos m observaciones por acción, las decisiones con resultado constante dan información mutua nula, mientras que las que separan los resultados dan al menos H2(m/k) bits, donde H2 es la entropía binaria. Por tanto, cualquier umbral t del intervalo (0, H2(m/k)) separa con exactitud estas dos clases. A modo de ilustración: con k = 8 y m = 2, la cota inferior es de unos 0,81 bits (cálculo propio; el abstract no incluye este ejemplo).

De ahí se explica también por qué la selección por tasa de éxito es ciega cuando fracasan todas las ejecuciones. El éxito es entonces una constante, aunque los intentos fallidos terminen en resultados distintos. La información mutua sí ve esas diferencias.

Cifras clave del trabajo:

• 4 benchmarks agénticos, 4 modelos de 3 familias, 16 configuraciones evaluadas;
• mejora de la precisión en la muestra reservada en las 16, con una media de +11,7 p. p.;
• enrutamiento en inferencia: victoria sobre enrutadores con presupuesto equivalente en 15 de 16 casos;
• una corrección dirigida aporta más que siete repeticiones adicionales no dirigidas.

Dónde puede resultar útil

El último punto es importante en la práctica. La mayoría de los equipos que despliegan agentes combaten los errores por fuerza bruta: más intentos, más muestras, votación. Los resultados de SynAct indican que, ante lagunas de conocimiento, eso es un gasto de cómputo en vano, y que una única corrección puntual compensa más.

El escenario práctico sería así. Hay que ejecutar las tareas varias veces, calcular para cada paso la relación entre acción y resultado y pasar al anotador o al experto del dominio solo la parte superior de la lista. Después, las correcciones se reúnen en un conjunto de reglas para el agente. Las horas de experto se dedican a un número limitado de decisiones, y la mejora se mantiene incluso cuando el experto ya no está.

También hay limitaciones. Se trata de un preprint en arXiv, los resultados aún no han pasado por revisión por pares, y el abstract no aporta datos sobre el coste de la anotación experta ni sobre hasta qué punto las reglas se transfieren más allá de los cuatro benchmarks. Aun así, el planteamiento en sí, que reconoce la atención del experto como un recurso escaso, parece una base razonable para los sistemas agénticos en producción.