PAC1 reveló una debilidad de los modelos de reasoning: un agente hardcoded pasó el benchmark con menor costo

El benchmark cerrado PAC1, diseñado para agentes de IA, reveló inesperadamente un punto débil en los propios modelos de razonamiento. En lugar de una solución "inteligente", un participante del hackathon construyó un Zero-Cost Agent — un conjunto de algoritmos rígidos que eludió errores típicos de LLM y completó tareas más económicamente.

Dónde se rompió el agente

PAC1 no prueba la capacidad de razonar elegantemente, sino la capacidad de actuar dentro de un entorno restringido. El agente necesita leer registros, encontrar archivos necesarios, enviar correos electrónicos y, al mismo tiempo, evitar trampas como Inyecciones de Prompts Indirectas, donde instrucciones maliciosas se ocultan dentro de los datos. Según la descripción del autor, es precisamente en esta configuración donde los modelos de razonamiento comenzaron a fallar: alucinaban, perdían contexto entre acciones, rompían la estructura JSON e insertaban su propio "razonamiento" en lugar de una salida limpia. En una sandbox cerrada, esto es crítico porque una sola clave incorreta o una línea extra inmediatamente rompe el siguiente paso e infla rápidamente la factura de la API.

Por qué ganó el hardcode

Después de varios intentos fallidos, el autor abandonó la idea de "exprimir" el modelo a través de prompts y apostó por un escenario determinista. Así surgió el Zero-Cost Agent — esencialmente un ejecutor algorítmico que no simula el pensamiento, sino que conoce de antemano qué operaciones verificar, en qué orden recorrer el sistema de archivos y cómo responder a clases conocidas de trampas. En lugar de inteligencia universal, la solución utiliza un conjunto de reglas que pueden probarse de antemano y controlarse rígidamente.

• formato rígido de entrada y salida sin explicaciones de forma libre;
• rutas predeterminadas para búsqueda de archivos y lectura de registros;
• manejo separado de instrucciones peligrosas ocultas dentro del contenido de archivos;
• pasos predecibles para envío de correos electrónicos y otras acciones;
• rechazo de bucles de reintento que rápidamente agotan presupuestos de LLM.

Este enfoque se ve tosco, pero dentro de PAC1, proporciona una ventaja. El algoritmo no discute consigo mismo, no reescribe la respuesta y no desperdicia tokens explicando pasos obvios. Su costo es casi independiente del número de ciclos de "razonamiento", porque no hay ciclos de razonamiento en la cadena. En la tarea del hackathon, esto convirtió un sistema de agente inestable en una herramienta cuyo comportamiento puede predecirse y medirse.

Lo que reveló el experimento

La historia de PAC1 cuestiona la tesis popular de que tomar un modelo de razonamiento poderoso es suficiente y manejará la automatización de agentes por sí solo. En la práctica, un entorno con sistema de archivos, respuestas formales y ataques incorporados resulta ser más cercano a un problema de ingeniería que a una conversación con un asistente. Lo que importa aquí es la validación, el control de estado, la limitación de transiciones y el manejo explícito de errores. Si un sistema produce consistentemente JSON correcto y no se distrae con instrucciones falsas, vence a un modelo más "inteligente" pero inestable.

"Si la IA no puede manejarlo, lo reemplazaremos con el buen y viejo hardcoding."

La frase del autor sobre "buen y viejo hardcoding" suena provocadora, pero el significado es bastante pragmático. No se trata de la inutilidad de las redes neuronales, sino de los límites de su aplicación sin estructura rígida. Si la tarea es estándar, las reglas son conocidas y el costo del error es alto, un conjunto de heurísticas deterministas a veces produce mejores resultados que un modelo con gran contexto, explicaciones elegantes y una larga cadena de intentos de reintento. Para tareas corporativas con interfaces formales, esto es especialmente notable: el sistema debe ser aburrido, verificable y predecible, no impresionantemente elocuente.

Lo que esto significa

Para desarrolladores de agentes de IA, el caso PAC1 es un recordatorio de que la confiabilidad del sistema a menudo importa más que la potencia del modelo. En productos reales, un enfoque híbrido será cada vez más la norma: LLM donde se necesita variabilidad y manejo de incertidumbre, y lógica rígida donde importan el formato, la seguridad, el costo y los resultados repetibles. Tales combinaciones, en lugar de una apuesta pura en un único modelo, probablemente se convertirán en el estándar para agentes de producción.