Cohere enseña a un modelo de 7B a estimar su confianza dos veces: el error de calibración baja un 52,5%

Cohere ha publicado CALIBER, un método que enseña a un modelo de razonamiento a evaluar sus propias opciones en dos momentos: antes de empezar a razonar y una vez que la respuesta está lista. En el benchmark matemático BigMathDigits, un modelo de 7B redujo el error de calibración esperado (ECE) de 0,059, el del mejor baseline con una única estimación, a 0,028. Es un 52,5% menos. La autora del trabajo es Beyza Ermis, research scientist de Cohere.

Un solo número esconde dos preguntas

Antes de razonar, el modelo solo ve el enunciado. Puede reconocer el tema y calcular si el problema parece abordable. Su confianza responde a la pregunta «¿qué probabilidad hay de que lo consiga?». Tras razonar, tiene un objeto concreto que revisar, su propia solución, y la pregunta cambia: «¿qué probabilidad hay de que esta respuesta sea correcta?».

Cohere ofrece un ejemplo con dos dados y una suma de al menos 10. El modelo parte de una confianza del 25%, enumera los casos (tres formas de sacar 10, dos de sacar 11, una de sacar 12), obtiene 6 de 36, es decir, 1/6, y termina en el 88%. También es posible el camino inverso: la solución parece sencilla, pero por el camino aflora una suposición errónea y la confianza cae. Los modelos de razonamiento estándar no garantizan esta capacidad: una cadena de razonamiento detallada no significa que el modelo sepa comunicar con honestidad sus dudas.

Los objetivos de entrenamiento para ambas estimaciones son distintos. Para la confianza inicial, el modelo resuelve el mismo problema varias veces. Si acierta en siete de diez intentos, el objetivo es el 70%. Para la confianza final, el objetivo es binario: una respuesta concreta es correcta o no lo es. Si tres de cuatro intentos son correctos, el objetivo inicial es el 75%, y en el intento fallido el objetivo final es 0. Las recompensas por calibración se suman a la recompensa por la respuesta correcta. Admitir dudas en una respuesta incorrecta mejora la recompensa de calibración, pero no aporta recompensa por resolver el problema.

Qué mostraron los experimentos

Se entrenaron modelos de 7B y 30B parámetros con 30 000 problemas matemáticos y se evaluaron con 1000 problemas reservados. Además, se usaron tres benchmarks de QA. Todos los métodos se compararon con el mismo esquema de entrenamiento, y los baselines marcados como lite son adaptaciones simplificadas de enfoques anteriores. En el caso de CALIBER, las métricas se calcularon sobre la confianza final.

• BigMathDigits, 7B: ECE de 0,028 frente a 0,059 del mejor baseline (−52,5%).
• AUROC de 0,806 y Brier score de 0,130: los mejores resultados de la comparación.
• Transferencia sin ajuste adicional ni selección de checkpoints para cada tarea: ECE un 26,8% menor en GPQA, un 32,2% menor en TriviaQA y un 36,2% menor en SimpleQA.
• BigMathDigits, 30B: ECE de 0,022 frente a 0,023 de CoCA-lite, pero AUROC de 0,797 frente a 0,508.

El resultado del modelo de 30B muestra por qué hacen falta dos métricas. En ECE, CoCA-lite apenas se queda atrás, pero su confianza prácticamente no distingue entre respuestas correctas e incorrectas: un AUROC de 0,508 se acerca a lanzar una moneda. Un modelo que siempre dice «70%» con una precisión del 70% está perfectamente calibrado y, aun así, no sirve para decidir qué hay que revisar. Cohere advierte de que algunos otros baselines logran un AUROC algo superior al de CALIBER, de modo que la ventaja depende de la propiedad que se mida.

Por separado se analizó cómo cambia la confianza tras el razonamiento. En BigMathDigits, en el modelo de 7B la estimación media para las respuestas correctas subió del 78,5% al 83,5%, mientras que para las incorrectas bajó del 62,6% al 54,5%. En otros conjuntos de datos, la confianza a veces disminuye en ambos grupos, pero más en las respuestas incorrectas. Que suba o baje no es un veredicto en sí: dos respuestas con un 70% final expresan la misma probabilidad, aunque una haya llegado ahí subiendo y la otra bajando.

Dónde puede resultar útil y qué falta por comprobar

Para los equipos de producto, el valor práctico está en el enrutamiento. Una confianza inicial baja puede indicar que conviene pasar la tarea a un modelo más potente o a una persona antes de gastar tokens en razonar. Una confianza final baja señala qué respuestas enviar a revisión manual cuando hay tiempo para revisar solo unas pocas de cada cien. Es justo aquí donde el AUROC importa más que un ECE atractivo.

Hay que tener en cuenta las limitaciones. Los experimentos miden la confianza antes y después de una sola pasada de razonamiento. Cohere no ha probado el uso de las actualizaciones para decidir si «verificar», «buscar información adicional» o «abstenerse». El entrenamiento se realizó sobre todo con matemáticas, y la transferencia a QA se ha mostrado solo para el modelo de 7B y solo en ECE. Antes de integrar estas estimaciones en pipelines de agentes, conviene ejecutarlas con datos propios y comprobar la calibración sobre la distribución de tareas de cada caso.