Evidence Chain Evaluation: как ИИ-фактчекеру разрешили отвечать «не уверен» вместо ложных вердиктов

Los investigadores publicaron el 23 de julio de 2026 en arXiv el framework Evidence Chain Evaluation (ECE) — un sistema de verificación de hechos que puede responder "no seguro" en lugar de un "verdadero/falso" forzado, y mantiene una precisión del 97,8% en las afirmaciones sobre las que sí emite un veredicto.

Qué es Evidence Chain Evaluation

Evidence Chain Evaluation es un framework de fact-checking selectivo: permite que un agente de IA se abstenga de decidir cuando la evidencia es débil, dispersa o contradictoria. El sistema evaluado es un agente con herramientas que reúne evidencia mediante búsqueda web, búsqueda científica y verificaciones ejecutables, y luego devuelve un veredicto estructurado con una puntuación de confianza y metadatos sobre las fuentes.

• Precisión en las afirmaciones respondidas (selective accuracy) — 97,8% en el benchmark ECE-Bench
• Precisión estándar — 91,6%, cobertura — 93,7%
• El sistema aplazó 6 de 95 afirmaciones en lugar de adivinar
• 5 de los 6 casos aplazados correspondieron a fuentes de la fiabilidad más baja (nivel L4)
• Herramientas del agente — búsqueda web, búsqueda científica, verificaciones ejecutables; el código está abierto en GitHub

Por qué importa el derecho a callar

Los modelos de lenguaje grandes pueden mostrar una alta precisión en fact-checking, pero la elección binaria forzada oculta un problema de fiabilidad: el sistema emite un veredicto seguro incluso donde apenas hay evidencia o esta es contradictoria. ECE resuelve esto mediante un veredicto "uncertain" — una negativa que se activa precisamente en las zonas de evidencia débil, en lugar de repartirse entre todas las afirmaciones.

La concentración de las negativas fuera de las zonas fiables es el argumento clave de los autores. Según el artículo, 5 de los 6 casos aplazados correspondieron a fuentes del nivel de fiabilidad más bajo (L4). Esto confirma que la abstención funciona como un mecanismo de seguridad y no como una forma de eludir preguntas difíciles.

«La abstención funciona como un mecanismo orientado a la seguridad

para manejar evidencia epistémicamente débil», señala el artículo en arXiv.

Dónde ECE queda por debajo de los métodos de referencia

ECE no supera al baseline de búsqueda más fuerte en las métricas de calibración agregadas — Expected Calibration Error, Brier score y AURC. Los autores lo reconocen directamente. La ventaja de ECE está en otro lugar: el sistema ofrece un compromiso claro de predicción selectiva — una precisión muy alta en las afirmaciones respondidas al costo de aplazar solo 6 casos de 95.

En otras palabras, ECE sacrifica la exhaustividad en favor de la fiabilidad donde esto es crítico. Para el fact-checking, donde un veredicto seguro pero falso es más peligroso que un honesto "no lo sé", ese intercambio suele estar justificado.

Qué significa esto

La capacidad de un sistema de IA para admitir honestamente la falta de evidencia es un paso práctico hacia la confianza en el fact-checking automatizado. ECE muestra que la negativa calibrada puede integrarse en un agente y dirigirse justo a donde las fuentes son más débiles, sin hundir la precisión general.

Preguntas frecuentes

¿Qué es Evidence Chain Evaluation?

Es un framework de verificación de hechos selectiva en el que un agente de IA puede devolver un veredicto "no seguro" en lugar de un "verdadero/falso" forzado. El sistema reúne evidencia mediante búsqueda web, búsqueda científica y verificaciones ejecutables, y añade al veredicto una puntuación de confianza y metadatos sobre las fuentes.

¿Qué tan preciso es ECE?

En el benchmark ECE-Bench, el sistema mostró un 97,8% de precisión en las afirmaciones respondidas, un 91,6% de precisión estándar y un 93,7% de cobertura, aplazando 6 de 95 afirmaciones.

¿Dónde conseguir el código de ECE?

El código del framework está abierto: los autores lo publicaron en el repositorio cheshireyang/ECE en GitHub.