El revisor de IA aprobó el error de un agente: un solo porcentaje de éxito ocultó tres defectos distintos
Un usuario pide cancelar el pedido anterior, aunque tiene dos. El agente no pregunta, elige uno por su cuenta, lo cancela e informa del éxito. El revisor de IA contrasta la respuesta con la base de datos, ve que coincide y la da por buena: evaluaba la honestidad de la descripción, no el derecho a actuar sin preguntar. El autor del análisis demostró que un único porcentaje de éxito mezcla al menos tres defectos distintos.
Procesado por IA desde Хабр: NLP; editado por Hamidun News
Imagine una escena típica del soporte de una tienda en línea. Un cliente escribe a un agente: «Cancela el pedido anterior». Pero tiene dos pedidos. El comportamiento correcto es obvio para cualquier operador humano: preguntar cuál exactamente. El agente, en cambio, eligió uno en silencio, lo canceló e informó animadamente de que todo estaba listo. Y una segunda IA, que revisaba las respuestas, le puso una nota alta.
Esta historia, tomada de un análisis publicado en Habr, es interesante porque no contiene ni una sola mentira descarada. Y aun así, el resultado es malo.
Por qué el revisor no detectó el problema
El revisor comparó el mensaje del agente con el estado de la base de datos. El pedido efectivamente está cancelado, el mensaje coincide, así que todo es honesto. Formalmente tiene razón: el agente no mintió sobre lo que hizo.
El problema está en lo que se le pidió evaluar al juez. Su tarea era comprobar con qué precisión describió el agente su propia acción. La pregunta «¿tenía el agente derecho a actuar sin aclaración?» no formaba parte de esa tarea. Por eso la evaluación positiva dejó pasar un defecto que sí detectó una verificación programática independiente.
Es una trampa clásica: el juez responde a la pregunta que se le hizo, no a la que usted tenía en mente.
Tres defectos distintos bajo un mismo porcentaje
El autor partió de otra hipótesis: pensaba que un breve añadido a las instrucciones empeoraría el trabajo del agente. El experimento no lo confirmó. En cambio, el examen de los registros mostró que tras la cifra general de éxito se esconden tres problemas distintos, que se corrigen de maneras diferentes.
Primero: el agente ejecutó la acción sin la aclaración requerida, y el revisor, que examinaba las explicaciones, no lo detuvo. Aquí hace falta verificar el comportamiento en sí, no el texto de la respuesta.
Segundo: la prueba exigía elegir un código de respuesta según una regla que las instrucciones explicaban de forma incompleta. Es un error no del modelo, sino del planteamiento: se penalizó al agente por algo que no se le dijo. Se corrige modificando la instrucción o la prueba.
Tercero: el agente realizó la operación correctamente, pero el revisor inventó un motivo de rechazo. Es decir, el juez se inventó una objeción. Aquí hay que arreglar los criterios de evaluación y limitar al juez para que no evalúe lo que no figura en las reglas.
Si se mira solo el porcentaje medio, los tres casos parecen iguales: «prueba no superada» o «prueba superada». Con esa cifra es imposible elegir el remedio adecuado.
Qué hacer en la práctica
En primer lugar, separe la evaluación de la acción de la evaluación de la explicación. El hecho de la cancelación del pedido, la llamada a la herramienta correcta y la presencia de una pregunta aclaratoria conviene verificarlos con código, a partir de los registros y del estado del sistema. Es determinista y no depende del «humor» del modelo.
En segundo lugar, para las órdenes ambiguas, haga de la aclaración un paso obligatorio del flujo. Si el usuario tiene dos pedidos y la solicitud no incluye un identificador, el sistema debe exigir la pregunta. Confiar solo en la redacción del prompt es arriesgado.
En tercer lugar, dé al juez de IA una rúbrica estrecha y explícita. Cuanta menos libertad tenga para «rellenar huecos», menos a menudo inventará motivos de rechazo o, al contrario, aprobará lo que no debe.
En cuarto lugar, clasifique los fallos por tipo. Para cada ejecución fallida, responda a tres preguntas. ¿Se equivocó el agente? ¿Era incompleta la instrucción o la prueba? ¿Se equivocó el juez? Solo después tiene sentido cambiar algo.
Limitaciones
Se trata del análisis de un conjunto de experimentos con un único tipo de escenarios, por lo que no pueden extraerse cifras universales. Pero el esquema en sí es de amplia aplicación: dondequiera que una IA verifique a otra, conviene preguntarse qué se comprueba exactamente y qué queda fuera de plano. Un único porcentaje general de éxito es cómodo para un informe, pero para depurar agentes resulta casi inútil.
- 9 nov 2026Google divide la elaboración de especificaciones con IA en dos roles en su plugin EGM
- 12 nov 2026Los usuarios de Claude Code aprueban el 93% de las solicitudes: la supervisión se convierte en un trámite
- 6 nov 2026Los mejores agentes de IA superan hasta el 98% de las pruebas, pero entregan un producto funcional en un máximo del 65% de las compilaciones
- 11 ago 2026NeurIPS 2026 acepta 102 workshops: por primera vez, la conferencia se celebrará en tres ciudades del mundo
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué el revisor no detectó el problema?
El revisor comparó el mensaje del agente con el estado de la base de datos. El pedido efectivamente está cancelado, el mensaje coincide, así que todo es honesto. Formalmente tiene razón: el agente no mintió sobre lo que hizo. El problema está en lo que se le pidió evaluar al juez. Su tarea era comprobar con qué precisión describió el agente su propia acción. La pregunta «¿tenía el agente derecho a actuar sin aclaración?» no formaba parte de esa tarea.
¿Qué se sabe sobre Tres defectos distintos bajo un mismo porcentaje?
El autor partió de otra hipótesis: pensaba que un breve añadido a las instrucciones empeoraría el trabajo del agente. El experimento no lo confirmó. En cambio, el examen de los registros mostró que tras la cifra general de éxito se esconden tres problemas distintos, que se corrigen de maneras diferentes. Primero: el agente ejecutó la acción sin la aclaración requerida, y el revisor, que examinaba las explicaciones, no lo detuvo. Aquí hace falta verificar el comportamiento en sí, no el texto de la respuesta.
¿Qué se sabe sobre Qué hacer en la práctica?
En primer lugar, separe la evaluación de la acción de la evaluación de la explicación. El hecho de la cancelación del pedido, la llamada a la herramienta correcta y la presencia de una pregunta aclaratoria conviene verificarlos con código, a partir de los registros y del estado del sistema. Es determinista y no depende del «humor» del modelo. En segundo lugar, para las órdenes ambiguas, haga de la aclaración un paso obligatorio del flujo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.