Un preprint de arXiv sitúa la automejora de los agentes dentro de su clase de verificación

El preprint arXiv:2610.10611v1, de la sección cs.AI, aborda una cuestión que suele quedar fuera de la evaluación de agentes. Un agente puede mejorar porque ha buscado la solución durante más tiempo, porque ha recibido soporte adicional o porque ha cambiado la forma en que propone y verifica las respuestas. La puntuación final de un benchmark no distingue entre estos tres casos. Los autores construyen un marco formal en el que esas diferencias sí se ven y demuestran que las clases de tareas alcanzables con verificación acotada y aleatoriedad oculta se sitúan entre Σₖᴾ y Σₖ₊₁ᴾ de la jerarquía polinomial.

Cómo funciona el modelo

La unidad básica del trabajo se llama etapa. Se define mediante cuatro elementos: las transcripciones de interacción admisibles, los límites polinomiales, un protocolo de verificación alternante y un verificador terminal que emite el veredicto final. La etapa tiene dos modos. Native reach usa el soporte por defecto. Closure frontier permite todo el soporte que la interfaz ya admite.

Para que todo esto defina lenguajes formales genuinos hacen falta dos condiciones: una brecha de probabilidad uniforme punto a punto y task-relative soundness, es decir, corrección relativa a una tarea concreta. Con ellas, las clases quedan definidas con rigor y se pueden comparar entre sí.

Qué se ha demostrado

Principales resultados del resumen:

• la amplificación mayoritaria independiente conserva ambos lenguajes, native reach y closure frontier;
• la aceptación bajo el criterio «existe una cinta aleatoria con la que la verificación se supera» puede dejar pasar respuestas incorrectas;
• la verificación exacta es un caso particular con aleatoriedad nula, para el que hay resultados de ubicación en la jerarquía y de completitud;
• las clases con verificador aleatorizado cumplen Σₖᴾ ⊆ Σₖᴿⱽ ⊆ Σₖ₊₁ᴾ;
• la extensión estricta y la separación por profundidad requieren supuestos explícitos de complejidad;
• con BPP = P se obtienen análogos exactos con los mismos límites.

Una sección aparte trata las representaciones. La aceptación invariante de una respuesta se separa de las etiquetas «núcleo o soporte», que pueden cambiar al refactorizar el sistema. Por tanto, redistribuir funciones dentro del agente no demuestra que sea más capaz.

Automejora recursiva

Para los sistemas que se modifican a sí mismos, la conclusión es bastante sobria. Si la automodificación está acotada de manera uniforme, se ejecuta bajo un intérprete común correcto y usa un protocolo de verificación fijo, el sistema permanece en la misma clase de verificación. La mera capacidad de reescribirse no desplaza ese límite.

Hay además un segundo problema. Cuando el agente recorre candidatos de forma adaptativa, aumenta la probabilidad de una selección falsa. Para ella, los autores introducen un presupuesto aparte de error condicional. Una familia de tareas de síntesis XOR con cuotas forzadas muestra que la razón de éxito de la búsqueda puede crecer sin límite aunque los lenguajes aceptados no cambien. Las auditorías exactas y probabilísticas comprueban qué evidencias se necesitan para ello.

Qué comprobar en la práctica

El trabajo es teórico, se trata de la primera versión del preprint y el resumen no menciona experimentos con modelos reales. No cabe esperar recomendaciones directas, pero los compromisos a los que los autores vinculan las afirmaciones de automejora se traducen en preguntas de ingeniería: qué se considera una respuesta correcta, qué evidencias son admisibles, cuántos recursos consume la verificación y cuál es el error de selección entre candidatos.

Un equipo que afirme que su agente ha mejorado debería separar el presupuesto de búsqueda del cambio en el verificador e indicar en el informe cuántos candidatos se revisaron. Si la verificación es aleatoria, es más fiable el voto independiente de varias ejecuciones que aceptar cualquier resultado favorable. Sin estos datos, el aumento de una métrica sigue siendo una observación, no una prueba de mejora.