Calibración de modelos de lenguaje: tres métodos para alinear confianza y exactitud

Los modelos de lenguaje a menudo "mienten" con su confianza: dicen "estoy 90% seguro" pero se equivocan la mitad de las veces. La calibración es un conjunto de técnicas que elimina esta brecha sin cambiar los pesos del modelo. El artículo cubre tres de los enfoques post-hoc más comunes.

Por qué la falta de calibración es peligrosa

Un modelo bien calibrado significa: si asigna "70% de probabilidad" a un evento, en realidad tal evento debe ocurrir en aproximadamente el 70% de casos similares. Esto suena razonable, pero en la práctica la mayoría de los LLM modernos están excesivamente seguros — sobrestiman sistemáticamente su propia precisión, especialmente en escenarios lejanos de los datos de entrenamiento. El problema no es abstracto. En productos donde las decisiones se toman en función de probabilidades del modelo — diagnóstico médico, calificación crediticia, pericia jurídica, algoritmos comerciales — la confianza incorrecta conduce directamente a decisiones equivocadas. Un usuario ve "90% de confianza" y confía en una respuesta que es objetivamente correcta solo el 55% de las veces.

La brecha se puede medir de dos maneras. ECE (Error de Calibración Esperado) — una única métrica numérica que promedia la desviación absoluta entre probabilidades predichas y frecuencias reales en rangos. Diagrama de confiabilidad — una herramienta visual: el eje X son probabilidades predichas, el eje Y es precisión real. La calibración perfecta es una línea diagonal recta. La desviación hacia abajo significa exceso de confianza; hacia arriba significa falta de confianza.

Tres métodos de calibración post-hoc

Los tres enfoques se aplican después del entrenamiento de la red neuronal. No cambian pesos sino que corrigen probabilidades de salida en la etapa de inferencia mediante pequeño entrenamiento adicional en datos de validación. Esto los hace convenientes: sin necesidad de acceso al entrenamiento del modelo, sin necesidad de anotación adicional.

• Platt Scaling — entrena regresión logística sobre logits brutos del modelo. Rápido y simple, requiere pocos datos. Asume distorsión sigmoidea — funciona bien si el modelo sobre o subestima uniformemente la confianza en todo el rango. Debilidad: maneja mal patrones no lineales.
• Isotonic Regression — un método no paramétrico sin suposiciones sobre la forma de distorsión. Construye una función de transformación monótona de forma arbitraria, maneja mejor patrones complejos de falta de confianza no lineal. Requiere significativamente más ejemplos de validación — de lo contrario riesgo de sobreajuste.
• Temperature Scaling — el método más popular para LLMs. Divide todos los logits por una sola constante aprendida T (temperatura). T > 1 — las probabilidades se "desdibujan", el modelo se vuelve menos categórico. T < 1 — la confianza aumenta. Un parámetro, optimizado para NLL en validación. La implementación toma unos diez líneas de código.

Cómo elegir el método adecuado

Temperature Scaling — la opción predeterminada para la mayoría de tareas con LLM. Funciona solo con probabilidades de salida — sin necesidad de acceso a pesos. Seleccionar T requiere solo algunos cientos de ejemplos. No remoldea la distribución de probabilidad, solo la escala.

Isotonic Regression debe considerarse cuando la distorsión es no lineal y la muestra de validación es grande — desde algunos miles de ejemplos. Puede captar patrones complejos que Temperature Scaling podría perder. El riesgo de sobreajuste requiere cuidadosa división train/val/test.

Platt Scaling ocupa un término medio: ligeramente más flexible que Temperature Scaling y más simple que Isotonic Regression. Tiene sentido cuando hay datos insuficientes para Isotonic pero se necesita más flexibilidad que la que da la temperatura.

Una limitación clave de los tres enfoques: se requiere un conjunto de validación separado que no fue usado en la evaluación del modelo. Calibrar en el mismo conjunto es un error que conduce al sobreajuste de la función de calibración.

Qué significa esto

Para equipos que implementan LLMs en producción, la calibración es un paso obligatorio antes de la implementación en cualquier escenario de alto riesgo. Temperature Scaling requiere esfuerzo mínimo y puede reducir significativamente el número de predicciones incorrectamente confiadas — sin sobreajuste, sin acceso a pesos, sin aumento de latencia notable. Este es uno de esos casos raros donde una pequeña mejora técnica impacta directamente la confianza del usuario en el producto.