Científicos miden la incertidumbre de los LLM por la solidez de sus mecanismos internos en 3 modelos

Un equipo de investigadores propone medir la incertidumbre de un modelo de lenguaje grande no por lo que produce en la salida, sino por la firmeza con la que se sostiene la respuesta en su interior. El método se probó en tres modelos abiertos y cinco conjuntos de datos de preguntas y respuestas. En esas pruebas, las respuestas incorrectas e inciertas resultaron «frágiles»: bastaba una intervención interna menor para desplazarlas que para desplazar las correctas.

El trabajo se ha publicado en Hugging Face Daily Papers. Los autores introducen el concepto de mechanistic uncertainty, es decir, incertidumbre mecanicista.

Cómo funciona la métrica

Los métodos habituales para estimar la confianza de un LLM se fijan en la salida: probabilidades de los tokens, entropía, coherencia entre varias respuestas generadas. Todos indican cómo responde el modelo, pero no muestran en qué se apoya esa respuesta.

Los autores parten del otro extremo. Definen el causal robustness margin, o margen de robustez causal: la magnitud mínima de intervención interna con la que cambia la respuesta del modelo. Si la respuesta se rompe con facilidad, el mecanismo que la sostiene es débil. Si hace falta una intervención fuerte, la respuesta es robusta.

En la práctica, la intervención se implementa mediante vectores de control conceptuales (steering vectors) construidos con Jacobian Lens, abreviado Jlens. La idea de los steering vectors consiste en desplazar las activaciones del modelo a lo largo de una dirección elegida y observar cómo cambia su comportamiento. El margen se obtiene como el «coste» de ese desplazamiento. El resumen del artículo no detalla cómo se construyen los vectores; hay que consultarlo en el propio paper.

Qué mostraron los experimentos

El resumen describe así el conjunto de pruebas:

• modelos: tres LLM abiertos;
• datos: cinco datasets de preguntas y respuestas;
• resultado principal: las respuestas incorrectas e inciertas tienen un margen menor, es decir, son más sensibles a las intervenciones internas;
• complementariedad: el causal robustness margin complementa los métodos tradicionales de estimación de incertidumbre basados en la salida del modelo, y no los sustituye;
• experimento controlado: tras el entrenamiento con hechos inyectados, el margen aumenta en los conocimientos asimilados correctamente.

Este último punto es, quizá, el más interesante. Los autores entrenaron deliberadamente al modelo con hechos nuevos y observaron cómo cambiaba la métrica. Cuando el hecho se asimila bien, el soporte interno de la respuesta se vuelve más sólido y el margen lo registra. Así se comprueba la causalidad de la métrica, y no únicamente su correlación con la corrección en datasets ya preparados.

El resumen no incluye valores concretos de AUROC ni de otras métricas de calidad, ni los nombres de los modelos y datasets. Con estos datos no se puede valorar cuánto mejora el margen la detección de errores frente a los métodos de referencia.

Dónde puede resultar útil

Las alucinaciones siguen siendo el principal obstáculo para los LLM en medicina, derecho y finanzas. En esos ámbitos no basta con una respuesta: hace falta una señal de cuánto se puede confiar en ella. Las estimaciones de confianza basadas en la salida suelen engañar, porque un modelo puede equivocarse con total seguridad. Una señal interna ofrece un segundo canal de verificación independiente.

Para los desarrolladores se desprenden tres conclusiones:

• La métrica puede considerarse una capa adicional sobre los estimadores de confianza existentes, y no un reemplazo.
• El método requiere acceso a las activaciones internas. Es aplicable a modelos abiertos y no a las API cerradas, que solo devuelven texto.
• Intervenir en las activaciones consume recursos de cómputo. Cuánto cuesta calcular el margen en cada consulta no queda claro en el resumen, y para producción es una cuestión clave.

Se trata de un trabajo de investigación. Los resultados se obtuvieron con tres modelos abiertos y cinco tareas de QA, y aún está por comprobar si se trasladan a generaciones largas, modelos de razonamiento y escenarios con agentes. Pero la dirección está clara: evaluar la fiabilidad de una respuesta a través de la estructura causal del modelo, y no solo mediante la estadística de su salida.