MIT propone una métrica que detecta los errores seguros de sí mismos y las alucinaciones de los LLM

Investigadores del MIT han propuesto una nueva forma de medir la incertidumbre de los grandes modelos de lenguaje y de detectar con más precisión los casos en que una IA responde con seguridad, pero se equivoca. La idea es sencilla: al usuario no le basta con una respuesta bien presentada, necesita también una señal de hasta qué punto puede fiarse de esa seguridad, sobre todo en tareas donde un error tiene un coste real.

Por qué fallan las métricas antiguas

Una de las formas más populares de comprobar la fiabilidad de un LLM es hacerle la misma pregunta varias veces y ver si responde siempre igual. Si las respuestas coinciden, a menudo se interpreta como un nivel alto de confianza.

El problema es que esta comprobación mide solo la coherencia interna del propio modelo. Muestra cuán seguro está de sí mismo, pero no dice si realmente tiene razón. Para una interfaz es una señal cómoda, pero no siempre útil.

Aquí aparece el escenario peligroso: un modelo puede dar una y otra vez la misma respuesta incorrecta manteniendo una apariencia de fiabilidad. Para el usuario esto es especialmente arriesgado en tareas donde el error sale caro, como la medicina, las finanzas o el análisis aplicado. En esos casos, una alucinación segura parece más convincente que una respuesta cauta pero honesta, con matices.

Por eso los investigadores decidieron medir no solo la autoconfianza del modelo, sino también la probabilidad de que haya sido una buena elección para esa pregunta concreta.

Cómo funciona el nuevo método

El equipo del MIT complementó la métrica habitual de autoconsistencia con otra señal: la discrepancia entre modelos. En lugar de preguntar varias veces al mismo LLM, los investigadores comparan la respuesta del modelo objetivo con las de un pequeño grupo de modelos similares, de escala y clase arquitectónica comparables.

Si esos modelos empiezan a divergir de forma notable en el significado, es un indicio importante de que la respuesta original puede ser poco fiable, aunque el modelo objetivo suene muy seguro.

Un punto clave es que no se compara la coincidencia literal de las formulaciones, sino la cercanía semántica de las respuestas. Este enfoque refleja mejor el acuerdo o desacuerdo real entre modelos que una simple comparación de palabras.

Según los investigadores, en la práctica funcionó mejor una variante sorprendentemente sencilla: usar modelos creados por empresas distintas. Se probaron esquemas más complejos de selección del conjunto, pero no superaron a esta estrategia directa y clara.

• Primero se elige el modelo objetivo cuya respuesta hay que evaluar.
• Después se envía la misma consulta a varios LLM similares.
• A continuación, el sistema mide cuánto coinciden las respuestas en significado.
• Ese valor se combina con la métrica habitual de autoconsistencia.
• El resultado es una métrica final de incertidumbre general: total uncertainty.

Los autores llaman al segundo componente incertidumbre epistémica: indica hasta qué punto el modelo está bien elegido para la tarea concreta. Sumada a la incertidumbre aleatoria, que refleja la inestabilidad interna de la respuesta, ofrece una imagen más completa del riesgo.

En pocas palabras, el sistema comprueba tanto si el modelo se contradice a sí mismo como si discrepa de otros modelos plausibles.

Además, el método funciona en formato black-box: le bastan las respuestas en texto, sin acceso a los logits ni a los estados internos del modelo.

Dónde es más útil el método

Los investigadores probaron la métrica combinada en diez tareas realistas, entre ellas preguntas y respuestas, resumen, traducción y razonamiento matemático. En la serie principal de experimentos compararon varios modelos ajustados con instrucciones, y también hicieron comprobaciones aparte con modelos de API.

En estas pruebas, el indicador de incertidumbre total detectó las respuestas poco fiables de forma más estable que cada componente por separado. El nuevo enfoque funcionó especialmente bien donde existe una única respuesta correcta, como en preguntas factuales o en traducción.

Que un modelo repita muchas veces la misma respuesta no significa

todavía que sea correcta.

Hay también una limitación importante. En tareas más abiertas, donde son admisibles varias respuestas buenas, la señal de discrepancia entre modelos puede ser menos útil. Es decir, si no se trata de un hecho sino de una generación más libre, el desacuerdo entre modelos no siempre implica un error.

Los autores señalan expresamente que en el futuro quieren adaptar la técnica a esos escenarios y estudiar por separado otras formas de estimar la incertidumbre interna del modelo.

Otra ventaja práctica es el ahorro computacional. En varios experimentos, calcular la incertidumbre total requirió menos consultas que la estimación tradicional basada solo en autoconsistencia. Eso supone no solo menores costes de inference, sino potencialmente un menor consumo de energía cuando estas comprobaciones se usan a gran escala.

Para producción es un argumento de peso: si una métrica es a la vez más precisa y más barata, tiene muchas más posibilidades de llegar a productos de IA reales y no quedarse en una idea puramente académica.

Qué significa

Para la industria, es un paso de evaluar «cuán seguro suena el modelo» a evaluar «cuánto se puede creer esa seguridad». Si el enfoque se consolida en producción, los servicios de IA podrán avisar con más precisión de las alucinaciones, y los usuarios confundirán con menos frecuencia un error convincente con una respuesta fiable.

Esto es especialmente importante en todos los escenarios en que el LLM ya no es un juguete sino una herramienta de trabajo que influye en decisiones, dinero y procesos diarios de la empresa.