Investigadores del MIT enseñan a la IA a decir con honestidad «no estoy seguro» y a alucinar menos

Investigadores del MIT han propuesto una forma de hacer que los modelos de lenguaje sean bastante más honestos en sus respuestas: que resuelvan la tarea y, al mismo tiempo, estimen cuánta confianza tienen en su propia conclusión. Parece un ajuste menor, pero en la práctica ataca uno de los problemas más molestos de los modelos de razonamiento actuales: la costumbre de hablar con tono seguro incluso cuando la respuesta se ha obtenido casi al azar. La nueva técnica no reduce la calidad de las respuestas; al contrario, ayuda al modelo a distinguir mejor los casos en los que realmente sabe algo de aquellos en los que debería admitir incertidumbre.

El equipo de MIT CSAIL describe el problema sin rodeos: los modelos potentes de hoy suelen comportarse como la persona que más grita en la sala. Responden con la misma seguridad cuando su lógica ha funcionado y cuando simplemente han acertado por casualidad. Según los investigadores, la causa está en el propio esquema de aprendizaje por refuerzo que se utiliza hoy para desarrollar la capacidad de razonamiento.

En su versión típica, el modelo recibe una recompensa por la respuesta correcta y una penalización por la incorrecta. Apenas hay estados intermedios. Si el modelo llega por casualidad al resultado correcto, se le recompensa igual que si hubiera derivado la solución con rigor.

Con el tiempo, esto empuja al sistema a responder siempre, sin dejar espacio para un «no estoy seguro». Eso es precisamente lo que el MIT ha intentado corregir con RLCR (Reinforcement Learning with Calibration Rewards). En lugar de una evaluación puramente binaria, los investigadores añadieron otro componente a la función de recompensa: el Brier score, una métrica que compara la confianza declarada con la precisión real.

En la práctica, tras la cadena de razonamiento, el modelo devuelve la respuesta junto con una estimación numérica de su propia confianza. Si se muestra demasiado seguro y se equivoca, se le penaliza. Si, por el contrario, acierta pero rebaja su confianza sin motivo, eso también se tiene en cuenta.

Los autores sostienen que este esquema persigue formalmente dos objetivos a la vez: alta precisión y buena calibración, es decir, correspondencia entre lo que el modelo dice sobre su confianza y la frecuencia con la que realmente acierta. Los experimentos se realizaron con un modelo de 7 mil millones de parámetros. Según el MIT, RLCR redujo el error de calibración hasta un 90 por ciento frente al aprendizaje por refuerzo convencional, sin que la precisión cayera; en algunas pruebas incluso mejoró.

El efecto se mantuvo tanto en las tareas de entrenamiento como en conjuntos de datos nuevos, incluidos seis datasets que el modelo no había visto antes. Los investigadores también compararon el método con enfoques post-hoc, en los que la confianza se estima después del entrenamiento mediante un clasificador externo. RLCR también salió ganando: en vez de ser un añadido cosmético sobre un modelo ya terminado, cambia el comportamiento del propio sistema durante el entrenamiento.

Además, el equipo del MIT muestra que el RL estándar no solo no mejora la calibración, sino que a menudo la empeora: el modelo se vuelve más capaz, pero también más confiado en exceso. Esto tiene además una utilidad práctica. Si el modelo genera varias respuestas candidatas, se puede elegir aquella en la que él mismo declara mayor confianza, o ponderar los votos de los candidatos según esa estimación.

Según los autores, esto mejora tanto la precisión como la calibración a medida que aumenta el cómputo en inferencia. Otro resultado interesante: cuando los investigadores entrenaron clasificadores independientes sobre las salidas del modelo, el razonamiento explícito sobre su propia incertidumbre aportaba una señal útil adicional, sobre todo en los modelos más compactos. Dicho de otro modo, el intento del modelo de verbalizar qué sabe y qué no resulta ser una parte sustancial de la predicción, y no un elemento decorativo.

¿Qué significa esto en la práctica? Si RLCR escala a modelos comerciales más grandes, la industria tendría la oportunidad de reducir tanto el número de errores evidentes como el de errores peligrosos disfrazados de tono seguro. En ámbitos como la medicina, el derecho, las finanzas o la analítica corporativa esto es especialmente importante: allí al usuario no le basta con obtener una respuesta, necesita saber hasta qué punto puede fiarse de ella.

El trabajo del MIT no propone otro filtro más sobre un modelo ya entrenado, sino una idea más de fondo: enseñar a la IA a encontrar la solución y también a medir con honestidad los límites de su propio conocimiento. Precisamente ese hábito podría convertirse en una de las mejoras más útiles para la próxima generación de sistemas de razonamiento.