En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarХабр: NLP→ original

El revisor de IA aprobó el error de un agente: un solo porcentaje de éxito ocultó tres defectos distintos

Un usuario pide cancelar el pedido anterior, aunque tiene dos. El agente no pregunta, elige uno por su cuenta, lo cancela e informa del éxito. El revisor de IA contrasta la respuesta con la base de datos, ve que coincide y la da por buena: evaluaba la honestidad de la descripción, no el derecho a actuar sin preguntar. El autor del análisis demostró que un único porcentaje de éxito mezcla al menos tres defectos distintos.

Procesado por IA desde Хабр: NLP; editado por Hamidun News
El revisor de IA aprobó el error de un agente: un solo porcentaje de éxito ocultó tres defectos distintos
Fuente: Хабр: NLP. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalХабр: NLP ↗
Editor jefe
Dato clave #1Pruebe por separado la acción y la explicación
Dato clave #2Exija la aclaración ante órdenes ambiguas mediante código, no mediante el prompt
Dato clave #3No permita que el juez de IA invente motivos de rechazo sin reglas

Imagine una escena típica del soporte de una tienda en línea. Un cliente escribe a un agente: «Cancela el pedido anterior». Pero tiene dos pedidos. El comportamiento correcto es obvio para cualquier operador humano: preguntar cuál exactamente. El agente, en cambio, eligió uno en silencio, lo canceló e informó animadamente de que todo estaba listo. Y una segunda IA, que revisaba las respuestas, le puso una nota alta.

Esta historia, tomada de un análisis publicado en Habr, es interesante porque no contiene ni una sola mentira descarada. Y aun así, el resultado es malo.

Por qué el revisor no detectó el problema

El revisor comparó el mensaje del agente con el estado de la base de datos. El pedido efectivamente está cancelado, el mensaje coincide, así que todo es honesto. Formalmente tiene razón: el agente no mintió sobre lo que hizo.

El problema está en lo que se le pidió evaluar al juez. Su tarea era comprobar con qué precisión describió el agente su propia acción. La pregunta «¿tenía el agente derecho a actuar sin aclaración?» no formaba parte de esa tarea. Por eso la evaluación positiva dejó pasar un defecto que sí detectó una verificación programática independiente.

Es una trampa clásica: el juez responde a la pregunta que se le hizo, no a la que usted tenía en mente.

Tres defectos distintos bajo un mismo porcentaje

El autor partió de otra hipótesis: pensaba que un breve añadido a las instrucciones empeoraría el trabajo del agente. El experimento no lo confirmó. En cambio, el examen de los registros mostró que tras la cifra general de éxito se esconden tres problemas distintos, que se corrigen de maneras diferentes.

Primero: el agente ejecutó la acción sin la aclaración requerida, y el revisor, que examinaba las explicaciones, no lo detuvo. Aquí hace falta verificar el comportamiento en sí, no el texto de la respuesta.

Segundo: la prueba exigía elegir un código de respuesta según una regla que las instrucciones explicaban de forma incompleta. Es un error no del modelo, sino del planteamiento: se penalizó al agente por algo que no se le dijo. Se corrige modificando la instrucción o la prueba.

Tercero: el agente realizó la operación correctamente, pero el revisor inventó un motivo de rechazo. Es decir, el juez se inventó una objeción. Aquí hay que arreglar los criterios de evaluación y limitar al juez para que no evalúe lo que no figura en las reglas.

Si se mira solo el porcentaje medio, los tres casos parecen iguales: «prueba no superada» o «prueba superada». Con esa cifra es imposible elegir el remedio adecuado.

Qué hacer en la práctica

En primer lugar, separe la evaluación de la acción de la evaluación de la explicación. El hecho de la cancelación del pedido, la llamada a la herramienta correcta y la presencia de una pregunta aclaratoria conviene verificarlos con código, a partir de los registros y del estado del sistema. Es determinista y no depende del «humor» del modelo.

En segundo lugar, para las órdenes ambiguas, haga de la aclaración un paso obligatorio del flujo. Si el usuario tiene dos pedidos y la solicitud no incluye un identificador, el sistema debe exigir la pregunta. Confiar solo en la redacción del prompt es arriesgado.

En tercer lugar, dé al juez de IA una rúbrica estrecha y explícita. Cuanta menos libertad tenga para «rellenar huecos», menos a menudo inventará motivos de rechazo o, al contrario, aprobará lo que no debe.

En cuarto lugar, clasifique los fallos por tipo. Para cada ejecución fallida, responda a tres preguntas. ¿Se equivocó el agente? ¿Era incompleta la instrucción o la prueba? ¿Se equivocó el juez? Solo después tiene sentido cambiar algo.

Limitaciones

Se trata del análisis de un conjunto de experimentos con un único tipo de escenarios, por lo que no pueden extraerse cifras universales. Pero el esquema en sí es de amplia aplicación: dondequiera que una IA verifique a otra, conviene preguntarse qué se comprueba exactamente y qué queda fuera de plano. Un único porcentaje general de éxito es cómodo para un informe, pero para depurar agentes resulta casi inútil.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el revisor no detectó el problema?

El revisor comparó el mensaje del agente con el estado de la base de datos. El pedido efectivamente está cancelado, el mensaje coincide, así que todo es honesto. Formalmente tiene razón: el agente no mintió sobre lo que hizo. El problema está en lo que se le pidió evaluar al juez. Su tarea era comprobar con qué precisión describió el agente su propia acción. La pregunta «¿tenía el agente derecho a actuar sin aclaración?» no formaba parte de esa tarea.

¿Qué se sabe sobre Tres defectos distintos bajo un mismo porcentaje?

El autor partió de otra hipótesis: pensaba que un breve añadido a las instrucciones empeoraría el trabajo del agente. El experimento no lo confirmó. En cambio, el examen de los registros mostró que tras la cifra general de éxito se esconden tres problemas distintos, que se corrigen de maneras diferentes. Primero: el agente ejecutó la acción sin la aclaración requerida, y el revisor, que examinaba las explicaciones, no lo detuvo. Aquí hace falta verificar el comportamiento en sí, no el texto de la respuesta.

¿Qué se sabe sobre Qué hacer en la práctica?

En primer lugar, separe la evaluación de la acción de la evaluación de la explicación. El hecho de la cancelación del pedido, la llamada a la herramienta correcta y la presencia de una pregunta aclaratoria conviene verificarlos con código, a partir de los registros y del estado del sistema. Es determinista y no depende del «humor» del modelo. En segundo lugar, para las órdenes ambiguas, haga de la aclaración un paso obligatorio del flujo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…