El asistente de IA subió las notas de los estudiantes un 48%, pero sin él rindieron un 17% peor

Imagine a un júnior que acepta las sugerencias de Copilot una tras otra. Las tareas se cierran rápido, las métricas suben, pero en la revisión de código no sabe explicar por qué la solución está hecha así. Un análisis reciente en Habr explica por qué esto no es casualidad y qué deben hacer quienes construyen productos con IA.

Un experimento que estropea las métricas bonitas

Un metaanálisis de 69 trabajos de 2022–2024 muestra que ChatGPT mejora el rendimiento académico y la motivación y reduce el esfuerzo mental. Para un equipo de producto parece un resultado perfecto. Pero en un experimento de campo con casi mil estudiantes de secundaria que resolvían problemas de matemáticas, GPT-4 en la interfaz habitual elevó las notas en la práctica un 48%, y en la versión con indicaciones de protección un 127%. Tras retirar el acceso, los alumnos del primer grupo rindieron un 17% peor que quienes no usaron IA en absoluto. El asistente funcionó como una muleta: mientras está cerca, el resultado crece, pero no ha habido aprendizaje.

Por qué la IA no equivale a una buena interfaz

La teoría de la carga cognitiva distingue tres tipos de esfuerzo: intrínseco (la dificultad del propio material), extrínseco (causado por una mala presentación) y pertinente (el trabajo de construir conocimiento). En UX la palanca principal es reducir la carga extrínseca, y eso casi basta: el usuario de un CRM quiere que el pedido salga, no entender el catálogo de nomenclatura.

Con la IA es distinto. En un experimento con 91 estudiantes, quienes trabajaron con ChatGPT-3.5 informaron una carga más baja en las tres escalas, y sus justificaciones finales resultaron peores que las de los usuarios de Google.

Una serie de siete experimentos con 10 462 participantes confirma que el conocimiento obtenido de un resumen de un LLM es más superficial que el obtenido de los enlaces de un buscador. El buscador entrega fuentes y uno mismo debe conectarlas. El LLM entrega una síntesis lista, es decir, el trabajo con la complejidad intrínseca se hace antes de que la persona vea el resultado.

Una buena interfaz elimina el ruido alrededor de la tarea, mientras que la IA puede eliminar la tarea misma.

Hay además un detalle incómodo. Un estudio de 589 estudiantes y jóvenes profesionales distingue la descarga dependiente (el pensamiento se cede a la IA) de la autónoma (la IA como apoyo, con las decisiones en manos de la persona). El beneficio inmediato de ambos modos es el mismo, por lo que el usuario no los distingue por sensación y las métricas de satisfacción no mostrarán nada. Salvedad: estos trabajos son correlacionales y en parte de ellos los resultados se basan en la autoevaluación.

Qué hacer como product manager y desarrollador

Los mecanismos de preservación de la habilidad deben integrarse en el producto, no confiar en la conciencia del usuario:

• El asistente del IDE primero pide al júnior que suponga dónde está el error y solo después muestra la corrección con una explicación.
• El asistente de investigación entrega no un resumen, sino fuentes con sus discrepancias y pide formular la conclusión por uno mismo.
• El asistente de soporte da un enlace a la sección de la base de conocimientos y verifica la respuesta del operador.
• El bot educativo guía con preguntas en lugar de resolver por el estudiante.

El apoyo no debe ser permanente. El efecto de inversión de la experiencia indica que las técnicas que ayudan al novato perjudican al experto, por lo que la ayuda debe disminuir a medida que crece la habilidad: apoyo, luego verificación, luego trabajo autónomo.

El mínimo práctico

Deje a la IA la búsqueda, el formato y la rutina. Reserve para la persona la conexión de ideas, la conclusión y la evaluación. Añada explicaciones y verificación antes de aceptar la respuesta. Y, sobre todo, cambie las métricas: la carga general y la satisfacción no distinguen la descarga útil de la dañina. Compruebe periódicamente qué sabe hacer la persona sin la herramienta. Si debe seguir en el circuito y responder por el resultado, esta es la única prueba honesta.