Una revisión de Stanford declara obsoletas el 44% de las conclusiones sobre los LLM

Imagine que su equipo montó hace un año un conjunto de pruebas para LLM. Evalúa contexto largo, aritmética, resistencia a las objeciones del usuario y fuentes inventadas. Los resultados resultan convincentes, así que el producto elige un modelo a partir de la tabla antigua. El problema es que esa tabla quizá ya no describa el mercado, sino un estrato arqueológico del mismo.

Los investigadores de Stanford Owen Quinn y James Zou volvieron a comprobar 50 conclusiones muy citadas sobre grandes modelos de lenguaje en 20 modelos de ocho desarrolladores. Según su estimación, el 44% de las conclusiones ya no se reproduce y otro 34% se ha debilitado notablemente. Solo el 16% se mantuvo por completo, y el 6% se manifestó con más fuerza. En los 22 resultados cuya vida útil se pudo estimar, el valor medio fue de 15,7 meses.

Esto no significa que las investigaciones sean inútiles. Significa que la frase «los LLM se comportan así» casi siempre es demasiado amplia. Es más correcto decir: «este modelo, en esta versión, en esta fecha y con esta prueba arrojó este resultado».

Los fallos técnicos claros desaparecen más rápido

Las afirmaciones sobre lo que un modelo no sabe hacer caducan especialmente rápido. En el estudio se debilitaron las nueve conclusiones verificadas relacionadas con el razonamiento, y los autores consideraron obsoletas cinco de ellas. Entre los ejemplos figuran contar letras en una palabra, la aritmética en un sistema numérico poco habitual, la pérdida de información en mitad de un contexto largo y el abandono de una respuesta correcta tras la objeción del usuario.

La causa es bastante terrenal. Si una tarea tiene una respuesta inequívocamente correcta, los desarrolladores ven un defecto concreto, añaden ejemplos similares al entrenamiento o cambian el procedimiento de ajuste fino. El fallo espectacular de ayer se convierte en la prueba de regresión de mañana.

Imagine que hace un año un modelo perdía el enunciado de la tarea en medio de un documento. Basándose en un artículo, un equipo decidió dividir cada archivo en fragmentos pequeños y construyó en torno a ello una canalización compleja. La nueva versión ya retiene con seguridad todo el documento, pero la arquitectura sigue pagando por llamadas adicionales, latencia y pérdida de vínculos entre fragmentos. La antigua conclusión se ha convertido en deuda técnica.

Los riesgos de comportamiento duran más

Las tendencias sin una única respuesta correcta resultaron más estables. Entre los efectos que se mantuvieron están la preferencia del modelo por sus propias respuestas, la sensibilidad de la evaluación a una formulación persuasiva y la complacencia con el usuario. Estas propiedades son más difíciles de corregir con un solo conjunto de ejemplos correctos: dependen del entrenamiento, de los criterios de evaluación y del propio diseño del diálogo.

La dispersión entre modelos también sigue siendo enorme. En la comprobación de referencias científicas, un modelo actual no inventó ninguna fuente, otro se equivocó en aproximadamente el 1% de los casos y otro más, en el 69%. Por eso el resultado del líder no puede trasladarse a un modelo más barato, a una alternativa abierta ni siquiera a una versión vecina de la misma generación.

Existe además una limitación importante: los autores comprobaron 50 conclusiones conocidas, no todas las investigaciones publicadas sobre los LLM. Además, que un efecto desaparezca no siempre significa que la capacidad esté totalmente corregida. El error puede persistir en otro idioma, en otro ámbito temático, con un contexto más largo o tras un pequeño cambio de formulación.

Qué cambiar en el desarrollo de producto

Cada prueba debe guardarse junto con el identificador exacto del modelo, la fecha, el prompt, los parámetros de generación y el resultado esperado. Tras un cambio de versión o de proveedor, el conjunto crítico debe ejecutarse de nuevo. Esto afecta especialmente a los escenarios en los que un error repercute en dinero, seguridad, derechos del usuario o decisiones sobre empleados.

A los equipos de producto les conviene dividir las verificaciones en dos capas. La primera son los requisitos estables del negocio: extraer correctamente un importe, no revelar datos personales, citar un documento real. La segunda son pruebas diagnósticas temporales que reflejan las debilidades conocidas de un modelo concreto. La primera capa cambia poco; la segunda debe revisarse tras cada actualización notable.

La conclusión práctica es sencilla: un artículo sobre las capacidades de los LLM tiene fecha de caducidad. No confunda un benchmark antiguo con una ley de la naturaleza ni construya una hoja de ruta en torno a un error famoso sin una prueba propia. Evalúe el modelo que realmente piensa poner en marcha, con sus propios datos y en su propio escenario de trabajo.