CToM enseña a un LLM a predecir la respuesta del usuario y eleva la precisión hasta el 79,6%

Un grupo de investigadores ha publicado en arXiv el método Collaborative Theory of Mind (CToM), que enseña a los modelos de lenguaje a trabajar mejor con las personas en diálogos largos. Primero, el modelo escribe un borrador. Después predice cómo responderá el usuario y solo entonces perfecciona su respuesta. En una tarea de razonamiento matemático colaborativo, la precisión final subió del 74,1% al 79,6% frente a GRPO convencional. En programación y escritura, con la misma recompensa, el usuario tuvo que responder un 8% y un 17% menos veces, respectivamente.

Dónde falla el trabajo conjunto

Los autores parten de una observación que conoce cualquiera que haya hecho con un LLM algo más complejo que una sola consulta. Los modelos rinden bien en tareas aisladas, pero en un diálogo de varios turnos resultan incómodos. Se lanzan a resolver sin averiguar qué necesita realmente la persona. Cuando reciben una corrección, no revisan sus supuestos anteriores y siguen construyendo sobre una base errónea. El aprendizaje por refuerzo habitual, que premia solo el resultado final, no corrige este problema: el modelo no recibe ninguna señal sobre lo que piensa la persona de su jugada.

Cómo funciona CToM

El ciclo propuesto tiene tres pasos: un borrador de respuesta, una predicción de la reacción del usuario y una revisión interna basada en esa predicción. La persona solo ve el resultado final. Para el entrenamiento, la réplica real del usuario ante cada borrador sirve como objetivo para predecir el siguiente turno, y el asistente se entrena para minimizar la negative log-likelihood de esa réplica. Esta tarea se combina con GRPO (group-relative policy optimization). Así, el modelo optimiza a la vez la calidad de la solución y la eficiencia de la interacción, es decir, el número de turnos necesarios para llegar al resultado.

El resumen del trabajo no aclara si las réplicas del usuario eran de personas reales o las generaba un simulador. De ello depende hasta qué punto el resultado se traslada a productos reales, y la respuesta habrá que buscarla en el texto completo del artículo.

Las cifras

El método se probó en razonamiento matemático, programación y escritura. Según los autores, CToM supera a todos los métodos de referencia en calidad del trabajo conjunto. Estos son los indicadores principales:

• matemáticas: precisión final del 79,6% frente al 74,1% de un GRPO ingenuo, una mejora de 5,5 puntos porcentuales;
• programación: con la misma recompensa, añadir supervisión sobre la predicción reduce un 8% el número de réplicas del usuario;
• escritura: el número de réplicas baja un 17%, con una mejora simultánea de la calidad;
• análisis de comportamiento: tras el entrenamiento, las predicciones de la reacción del usuario son más precisas.

El último punto es el más importante, porque muestra el mecanismo. Los autores observaron que las predicciones más precisas se asocian con una mayor mejora de calidad mediante la autocorrección. Por tanto, la ganancia no viene de efectos secundarios del entrenamiento, sino de la capacidad del modelo para modelar a su interlocutor. Por ahora la conclusión es correlacional, y darla por causalidad demostrada sería demasiado arriesgado.

Qué deberían hacer los desarrolladores con esto

Para los equipos que construyen asistentes y agentes de programación, la idea es práctica. Las réplicas de los usuarios tras cada respuesta ya están en los logs, y son un objetivo de entrenamiento listo para predecir el siguiente turno. Conviene añadir junto a la precisión la métrica «cuántas veces tuvo la persona que corregir al modelo»: un ahorro de turnos del 8–17% en una sesión larga se nota en el trabajo real.

También hay limitaciones. El borrador, más la predicción y más la revisión, suponen tokens adicionales y latencia, y el resumen no aborda el coste de inferencia. La mejora de 5,5 puntos porcentuales en matemáticas es modesta, y el trabajo sigue siendo un preprint en su primera versión, sin verificación independiente. Si la predicción de la reacción resulta errónea, la revisión puede desviar la respuesta. Antes de implantarlo, conviene probar el método con diálogos propios y comparar el número de turnos y la calidad final con el modelo base.