AutoJudge de Sber identifica al agente culpable del error en el 67 % de los casos, frente al 55 %
En una cadena de agentes de IA, un error temprano, como un número leído de forma incorrecta, llega hasta el final como si fuera una solución válida. AutoJudge, de Sber AI Lab, construye por sí mismo un conjunto de jueces para cada ejecución y, a partir del registro, señala al agente que falló primero. En el benchmark Who&When, con el mismo GPT-4o, el agente culpable se identifica en el 67,24 % de los casos, frente al 55,17 % anterior. La verificación debe cubrir todo el recorrido, no solo la respuesta final.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine un sistema formado por varios agentes de IA. El primero extrae mal un número de un documento, el segundo calcula correctamente un resultado a partir de ese número y el tercero redacta el informe con cuidado. Cada paso parece razonable, pero la respuesta final es incorrecta, y el texto final no permite saber quién cometió el primer error.
El equipo de investigación aplicada de Sber AI Lab propone AutoJudge: un sistema que construye por sí mismo un conjunto de «jueces» que analizan el registro de trabajo de los agentes e indican en qué paso y en qué agente se produjo el error. En el benchmark Who&When, donde hay que nombrar al agente culpable a partir del historial de ejecución, la precisión con el mismo modelo GPT-4o subió del 55,17 % al 67,24 %.
Por qué no basta con verificar la respuesta final
Mientras un LLM solo responde en un chat, el error todavía puede detectarse a simple vista. Pero cuando la respuesta se guarda en memoria, sirve como entrada del siguiente paso o desencadena una acción, la revisión manual deja de funcionar. Por eso la detección de alucinaciones, es decir, la búsqueda automática de afirmaciones que no aparecen en los datos del sistema, se convierte en parte del circuito de trabajo.
En RAG, el caso típico se denomina alucinación contextual. El documento dice: «En el estudio participaron 120 personas». El modelo responde: «…repartidas por igual entre el grupo de control y el grupo experimental». La cifra procede de la fuente, pero la división por igual la inventó el modelo. Lo importante no es si eso es verdad en términos generales, sino si la respuesta está respaldada por lo que el sistema recibió realmente.
Para una respuesta aislada existen tres familias de métodos:
- Estimación de incertidumbre. Se analizan las probabilidades de los tokens o el grado de divergencia entre respuestas repetidas. No se necesita un modelo adicional, pero la confianza no equivale a corrección: un LLM puede equivocarse con total seguridad.
- Sondeo de los estados internos. Sobre las representaciones ocultas del modelo se entrena un clasificador pequeño. Si el generador solo es accesible a través de una API, se usa un modelo abierto como sustituto. Se necesitan al menos 300–500 ejemplos etiquetados.
- Modelos jueces. Pueden ser un clasificador compacto basado en BERT o un LLM generativo que actúe como juez. Un LLM es más flexible y resulta adecuado cuando hay pocas etiquetas, pero es más caro. Para ajustar el juez hacen falta a partir de 1000 ejemplos.
Para no construir una infraestructura distinta para cada método, en Sber AI Lab crearon la biblioteca SIRIN. Ofrece una interfaz única para los tres enfoques, funciona tanto con modelos abiertos como cerrados y busca el problema en la respuesta completa o en un fragmento concreto. También comprueba, antes de generar, si los documentos encontrados bastan para responder: si no bastan, puede repetir la búsqueda o negarse a responder.
Cómo AutoJudge verifica el historial de trabajo de los agentes
En un sistema multiagente, el objeto de verificación es otro: todo el historial de mensajes de los agentes, las llamadas a herramientas y sus resultados. A las alucinaciones se suman los errores de planificación, de uso de herramientas, de comunicación y de agregación. Los métodos existentes para evaluar este tipo de historiales suelen estar ligados a una lista concreta de tipos de error y a un pipeline de verificación definido de antemano. Si cambian el sistema o los criterios, todo hay que diseñarlo de nuevo.
AutoJudge recibe como entrada el historial de ejecución, una taxonomía de evaluación (es decir, la lista de tipos de error que hay que buscar) y el esquema del resultado requerido. A continuación, un metaagente analiza la tarea y crea por sí mismo un conjunto de jueces intermedios especializados y un agregador final. Los jueces examinan distintas etapas del trabajo, y el agregador contrasta sus conclusiones con los datos originales. No se trata de una simple votación: si las valoraciones discrepan, el agregador vuelve al historial original y resuelve la contradicción.
Hay dos modos. En el modo principal se crea un pipeline independiente para cada ejecución: es más caro, pero se adapta mejor al comportamiento de los agentes. En el modo económico se reutiliza un solo pipeline para todo el conjunto de datos. En los experimentos, la adaptación a cada ejecución solía resultar más útil, sobre todo cuando los agentes se comportan de forma distinta.
Otro problema es el tamaño de los registros. Los mensajes de los agentes junto con los resultados de las herramientas pueden no caber en el contexto de cada juez. Por eso AutoJudge puede trabajar tanto con el historial completo como con uno resumido: los jueces ven los pasos comprimidos, y el original necesario se recupera de forma puntual desde un almacenamiento externo.
Qué hacer con esto en la práctica
La mejora del 55,17 % al 67,24 % se obtuvo con el mismo GPT-4o, así que no puede explicarse por un modelo más potente. La prueba también se realizó con varios conjuntos de datos más: los pipelines construidos dinámicamente se mantuvieron competitivos y a menudo superaron a las variantes fijas.
Los autores no presentan AutoJudge como un estándar universal: en métricas muy especializadas, los jueces configurados a mano son a veces más fuertes. El modo adaptativo es más caro, y la compresión del historial puede hacer perder un detalle importante.
La conclusión para quienes construyen agentes es la siguiente: registre los pasos y los resultados de las herramientas de forma que puedan analizarse después de la ejecución. En RAG, incluya una comprobación de la suficiencia del contexto antes de la generación. En cadenas de varios agentes, evalúe todo el recorrido y no solo la respuesta final. Así, la pregunta «¿está respaldada la respuesta?» se convierte en otra más útil: «¿en qué paso se equivocó el sistema?».
- 29 jun 2026Un crítico desmonta el estudio sobre IA del laboratorio de neurociencia de Sber y halla fallos metodológicos
- 17 may 2026Estudio de Sber: cómo la IA sustituye en silencio las decisiones estratégicas
- 23 may 2026LangChain lanza Engine, diagnóstico automático de errores de agentes
- 7 jul 2026Comienzan en la RDC los primeros ensayos clínicos de fármacos contra la rara cepa Bundibugyo del ébola
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué no basta con verificar la respuesta final?
Mientras un LLM solo responde en un chat, el error todavía puede detectarse a simple vista. Pero cuando la respuesta se guarda en memoria, sirve como entrada del siguiente paso o desencadena una acción, la revisión manual deja de funcionar. Por eso la detección de alucinaciones, es decir, la búsqueda automática de afirmaciones que no aparecen en los datos del sistema, se convierte en parte del circuito de trabajo. En RAG, el caso típico se denomina alucinación contextual.
Cómo AutoJudge verifica el historial de trabajo de los agentes?
En un sistema multiagente, el objeto de verificación es otro: todo el historial de mensajes de los agentes, las llamadas a herramientas y sus resultados. A las alucinaciones se suman los errores de planificación, de uso de herramientas, de comunicación y de agregación. Los métodos existentes para evaluar este tipo de historiales suelen estar ligados a una lista concreta de tipos de error y a un pipeline de verificación definido de antemano. Si cambian el sistema o los criterios, todo hay que diseñarlo de nuevo.
¿Qué se sabe sobre Qué hacer con esto en la práctica?
La mejora del 55,17 % al 67,24 % se obtuvo con el mismo GPT-4o, así que no puede explicarse por un modelo más potente. La prueba también se realizó con varios conjuntos de datos más: los pipelines construidos dinámicamente se mantuvieron competitivos y a menudo superaron a las variantes fijas. Los autores no presentan AutoJudge como un estándar universal: en métricas muy especializadas, los jueces configurados a mano son a veces más fuertes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.