El marco AICG de NC State redujo un 50,3% el MAE al evaluar respuestas matemáticas

Un equipo del departamento de Ciencias de la Computación de la Universidad Estatal de Carolina del Norte ha propuesto AICG, un marco para evaluar automáticamente respuestas matemáticas cortas. Los modelos habituales de evaluación (ASAG) basados en transformers aprenden a predecir la nota y nada más. AICG añade una estimación de las habilidades del estudiante y una corrección por la posible ayuda de IA generativa. Sobre 49 402 respuestas que los profesores calificaron a lo largo de 19 semestres, el error absoluto medio (MAE) bajó un 50,3% respecto a la regresión con RoBERTa. El kappa ponderado cuadrático (QWK, que mide la concordancia del modelo con el profesor según la gravedad de las discrepancias) subió de 0,798 a 0,927.

Por qué una sola nota no basta

Una respuesta matemática combina texto, fórmulas y desarrollos inconclusos. La puntuación parcial premia el razonamiento mostrado, no solo el resultado final. Los autores citan un ejemplo: un estudiante aplica correctamente dos veces la independencia condicional, pero se detiene antes de la regla de Bayes y escribe que no sabe cómo continuar. La nota recoge los puntos obtenidos, pero no indica qué habilidad falló. Dos respuestas con la misma calificación pueden esconder niveles de comprensión distintos, y un modelo entrenado solo con una etiqueta escalar generaliza peor a esquemas de resolución desconocidos.

Por eso AICG tiene dos ramas con un codificador RoBERTa compartido. La primera evalúa cada respuesta con tres cabezas: la de regresión da una nota continua, la ordinal una calificación ordenada y la de clasificación una de cinco categorías. La calificación final sale de la cabeza ordinal.

La segunda rama usa una matriz Q elaborada por expertos, que vincula cada tarea con las habilidades que se evalúan (son diez). A partir de ella, el modelo predice el dominio de cada habilidad antes y después del curso, así como la ganancia de conocimiento. Los valores objetivo los calcula G-DINA, un modelo de diagnóstico cognitivo que infiere el dominio de las habilidades a partir de los patrones de respuesta.

Las notas predichas no se pasan a la rama cognitiva, de modo que esta funciona como una fuente de señal independiente para el codificador compartido.

Los estudios de ablación muestran que la mayor mejora procede de la señal cognitiva basada en la matriz Q.

Cómo tiene en cuenta el marco la ayuda de IA

Una respuesta fluida y correcta puede ser hoy la solución de otro. Recibirá una nota alta, pero sobrestimará el dominio independiente del estudiante. Por eso los autores entrenaron un detector de ayuda de IA aparte, basado en RoBERTa: primero un preentrenamiento contrastivo, después un clasificador lineal y una calibración de temperatura.

Los datos de entrenamiento se construyeron así. Se enmascaraba una parte del texto de una respuesta real de estudiante (entre el 30 y el 50%) y un modelo DeepSeek sin conexión rellenaba los huecos, de modo que se conservaba entre el 50 y el 70% del texto original. Las respuestas correctas generadas por completo también entraron en la clase «ayuda de IA». De 26 039 respuestas reales se tomaron 14 044 y se creó una versión de IA para cada una, lo que dio 28 088 ejemplos equilibrados. La validación con otros generadores se hizo con el esquema leave-one-generator-out, y en los semestres F14–S17 con 11 458 ejemplos etiquetados.

La probabilidad de ayuda se convierte en un peso de fiabilidad suave con un límite inferior; no hay un umbral rígido. Una respuesta sospechosa influye menos en la estimación del dominio y en los valores objetivo de G-DINA, pero no se descarta. Este peso no afecta a la calificación de la respuesta en sí. Con un umbral de 0,5, el detector marcó 2 896 de 13 874 respuestas de los semestres F22–F24 (20,87%). La ponderación redujo el MAE global otro 4,2% respecto al modelo cognitivo sin pesos y mejoró de forma estable el MAE y el QWK en los cuatro últimos semestres de la era de la IA generativa.

Qué queda en el aire

AICG se comparó con cinco modelos de referencia sólidos en un esquema de ventana expansiva: cada semestre se evaluaba únicamente a partir de los anteriores. Esto se parece más a un despliegue real que una partición aleatoria. Aun así, el resultado tiene limitaciones.

Todos los datos proceden de una sola universidad y de una sola materia. La lista de diez habilidades y la matriz Q las elaboraron expertos a mano, y en otro curso habría que repetir ese trabajo. El detector está entrenado con ayuda sintética (DeepSeek completa respuestas enmascaradas), no con casos reales de uso de ChatGPT por parte de estudiantes.

Por eso el 20,87% sigue siendo una estimación del modelo, no un hecho confirmado de copia. Además, el fragmento del material disponible se interrumpe antes de describir el resto de los modelos de referencia y las tablas completas, así que la comparación con cada uno de ellos debe comprobarse en la versión completa del artículo.

La conclusión práctica para quienes desarrollan productos educativos es esta. Para mejorar la corrección automática, se puede añadir una señal estructurada sobre habilidades como tarea auxiliar, en lugar de limitarse a aumentar el tamaño del modelo. Y conviene reducir la fiabilidad de los datos de forma suave, con pesos, en vez de eliminar por completo las respuestas sospechosas.