Sutton, autor de la «lección amarga»: escalar LLM por sí solo no basta para alcanzar la inteligencia

Si construyes un producto sobre grandes modelos de lenguaje, casi seguro tienes una apuesta implícita: los modelos seguirán mejorando gracias a los datos y la computación, y tu producto crecerá con ellos. Esta semana, la persona cuyo ensayo suele citarse como el principal argumento a favor de esa apuesta ha dicho que no es tan simple.

Qué dijo Sutton

Richard Sutton, ganador del Premio Turing, escribió «La lección amarga» en 2019. Su idea: los métodos generales que escalan con la computación acaban imponiéndose a las soluciones ingeniosas ideadas por humanos. Desde entonces, el ensayo se ha convertido casi en un texto sagrado para los partidarios del escalado.

Ahora Sutton escribe que la computación por sí sola no es suficiente y que la ciencia de la IA está «lejos de estar completa». Para él no es un giro, sino la continuación de su línea anterior. Ya había criticado el énfasis en el escalado de los LLM y calificado los datos sintéticos de «gran error»: el mundo real es infinitamente complejo y cualquier simulación sigue siendo «microscópica». Otro cuello de botella, en su opinión, es la experiencia humana, que impide que el sistema escale de verdad.

Su alternativa son agentes con modelos del mundo que aprenden constantemente de su propia experiencia. Los modelos de lenguaje actuales no aprenden nada nuevo tras el entrenamiento, y el texto de internet describe solo una pequeña parte de la realidad. Hace falta un aprendizaje continuo que no borre el conocimiento anterior.

Qué respondieron los colegas

Jerry Tworek, que dejó OpenAI para explorar nuevos enfoques, considera que la «lección amarga» sigue vigente, con una salvedad: cuanta más computación se dedica al entrenamiento, más influye el algoritmo. Unos algoritmos escalan, otros se topan con un callejón sin salida, y muchas direcciones de escalado ni siquiera se han explorado. Según él, el éxito temporal de los transformers, junto con una lectura errónea de Sutton, «hackeó la recompensa» en la mente de toda una generación de científicos.

Jayden Teo aporta una perspectiva académica. Ha visto más de una vez cómo la «lección amarga» frena la investigación: se descartan ideas prometedoras porque supuestamente no encajan con su espíritu. Pero eso es una mala lectura, no culpa de Sutton. Una idea no tiene por qué sobrevivir eternamente al escalado para contribuir al progreso.

El otro lado

Sam Altman cree que el potencial del escalado de los LLM está lejos de agotarse y acusa a los críticos de frenar a toda una generación de investigadores con una confianza excesiva en los límites del método. Como argumento cita un modelo de OpenAI que refutó recientemente una conjetura matemática que se resistía a los matemáticos. Considera útiles los modelos del mundo, por ejemplo en robótica, pero afirma que, por ahora, los datos respaldan seguir escalando los LLM. Dario Amodei habla en términos similares: para él, el progreso del escalado es un arcoíris sin final.

Sin embargo, conviene recordar que ambas compañías han construido toda su tecnología sobre esta apuesta, así que es difícil considerarlas objetivas.

Qué significa en la práctica

El debate ya se está convirtiendo en dinero. Según The Decoder, la última edición de Frontier Radar sigue a 45 nuevos laboratorios de IA que apuestan por enfoques alternativos. Tworek lanzó Core Automation, que busca algoritmos de aprendizaje más allá del preentrenamiento y el RL. Sutton trabaja con Oak Lab. Lo que une a estos fundadores es la creencia en una IA mucho más capaz y la duda de que la receta actual, por sí sola, llegue hasta allí.

Qué deben hacer desarrolladores y product managers:

• No incluyan en su roadmap la suposición de que el próximo modelo resolverá sus problemas por sí solo. Diseñen el producto para que se beneficie de las mejoras sin depender de un único escenario.
• Sigan de cerca el aprendizaje continuo. Si funciona, habrá que replantear los enfoques de memoria, ajuste fino y personalización de agentes.
• Separen la postura del interés. Las declaraciones de los CEO de Anthropic y OpenAI sobre el escalado son también una defensa de sus modelos de negocio.

Esto no es una prueba, sino un choque de opiniones. Nadie ha demostrado aún que el escalado haya tocado techo, y nadie ha mostrado un sustituto que funcione. Pero que la crítica venga del autor del principal argumento a favor del escalado es una señal seria: apostarlo todo a una sola receta es arriesgado.