Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)

Schmidhuber y Pentland explican por qué subir la temperatura no vuelve curioso a un agente

Subir la temperatura o reescribir el prompt solo diversifica las acciones del agente; no le enseña a explorar. Los autores del artículo, entre ellos Schmidhuber, entienden la curiosidad como otra cosa: un pronóstico sobre el entorno, acciones dirigidas a comprobar ese pronóstico y una memoria fuera de la ventana de contexto. Solo las arquitecturas con hipótesis explícitas o con un modelo del mundo entrenable cumplen cuatro de los cinco requisitos. Por eso, en un agente conviene comprobar no la variedad de sus pasos, sino si sus pronósticos cambian tras la experiencia.

Procesado por IA desde TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Schmidhuber y Pentland explican por qué subir la temperatura no vuelve curioso a un agente
Fuente: TG: @gonzo_ML (gonzo-обзоры ML статей). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Editor jefe
Dato clave #1Los agentes populares optimizan la perplejidad de los tokens, no la precisión de los pronósticos sobre el entorno
Dato clave #2Los agentes con memoria acumulan episodios, pero no contrastan con ellos sus pronósticos
Dato clave #3Ninguna de las arquitecturas analizadas se fija por sí sola objetivos de exploración

Muchos equipos que construyen agentes autónomos se topan con el mismo problema: el agente da vueltas en el mismo sitio. Repite acciones parecidas, no prueba nada nuevo y no aprende del entorno nada más allá de lo que ya figuraba en el prompt. El remedio habitual consiste en subir la temperatura, añadir aleatoriedad al muestreo o escribir en el prompt de sistema «sé curioso». Un grupo de autores encabezado por Alfonso Amayuelas, en el que participan Jürgen Schmidhuber y Alex Pentland, sostiene que ese remedio no funciona. Con él, el agente se vuelve más variado, pero no más curioso.

En qué se diferencia la curiosidad del azar

Los autores toman la idea clásica de curiosidad del aprendizaje por refuerzo y la trasladan a los agentes LLM. La analogía cotidiana es sencilla. Un turista en un bazar desconocido puede recorrer los puestos al azar, y eso equivale al muestreo. O puede tener una conjetura en la cabeza («las verduras seguramente son más baratas en los puestos del fondo»), ir a comprobar precisamente esa y recordar el resultado. La curiosidad es el segundo escenario.

De ahí se desprenden tres requisitos que los autores consideran obligatorios. Primero, el agente debe tener un modelo predictivo del entorno: qué ocurrirá si hago esto. Segundo, las acciones se eligen para mejorar ese modelo, y no solo para obtener una recompensa. Tercero, las conclusiones se guardan fuera de la ventana de contexto. Si el conocimiento vive solo en el prompt, desaparece con la sesión y el agente empieza de cero cada vez. En total, el artículo plantea cinco requisitos arquitectónicos; aquí hemos descrito las ideas principales en las que se basan.

Qué falla en los agentes populares

A continuación, los autores analizan las clases de agentes existentes: los de búsqueda, los de memoria a largo plazo y los «investigadores científicos». El balance no es alentador. Solo las arquitecturas con seguimiento explícito de hipótesis o con un modelo del mundo entrenable cumplen cuatro de los cinco requisitos. Y ninguno de los sistemas analizados se fija por sí mismo objetivos de exploración.

Los demás tienen problemas distintos. Unos agentes optimizan, en esencia, la perplejidad interna de los tokens, es decir, la «sorpresa» del modelo de lenguaje ante su propio texto, y no la incertidumbre sobre el mundo real. Otros acumulan episodios en la memoria, pero no contrastan sus pronósticos con lo que realmente ocurrió, así que la memoria crece sin que aumente la comprensión del entorno. Unos terceros sí buscan soluciones, pero solo dentro de objetivos fijados de antemano por una persona. Es un buen optimizador, no un explorador.

Qué debe hacer el desarrollador

La utilidad práctica del artículo está en que ofrece una lista de verificación y la idea de pruebas de comportamiento de «caja negra». Estas ayudan a distinguir la exploración real de los vagabundeos aleatorios. Si tiene un agente que debe dominar una API, una base de código o una interfaz desconocidas, puede comprobar si formula hipótesis verificables, si elige acciones que permitan distinguir entre ellas y si su comportamiento cambia después de que un pronóstico se refute. Si la respuesta es «no», subir la temperatura no le ayudará, y los tokens se gastarán en vano en intentos variados pero sin sentido.

Para los responsables de producto, la conclusión también es concreta. La afirmación «nuestro agente explora por sí mismo» conviene verificarla como cualquier otra: dónde se almacena el modelo del entorno, qué se actualiza exactamente y si sobrevive a la sesión. Una memoria externa con registros explícitos de hipótesis y de resultados de comprobación parece una base de ingeniería mucho más fiable que confiar en el prompt.

Limitaciones

Se trata de un artículo de posición, no de un benchmark: no incluye cifras de mejora de calidad y, por ahora, los criterios son más una referencia que un estándar. Los propios autores advierten de que, en transformers con estado implícito, las ablaciones que separan la exploración real de la aleatoria no funcionan: no es posible mirar dentro y ver si el modelo construye hipótesis. Solo quedan las pruebas externas de comportamiento, que son menos precisas. Además, el requisito de que el agente se fije por sí mismo objetivos de exploración no lo cumple nadie por ahora, y no está claro que haga falta en tareas aplicadas donde el objetivo lo define una persona.

Aun así, el valor del texto está en que aporta un lenguaje para discutir el problema. En lugar del vago «el agente no es lo bastante creativo», ahora se puede preguntar: ¿tiene un modelo del mundo, se actualiza y se conserva fuera del contexto?

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre En qué se diferencia la curiosidad del azar?

Los autores toman la idea clásica de curiosidad del aprendizaje por refuerzo y la trasladan a los agentes LLM. La analogía cotidiana es sencilla. Un turista en un bazar desconocido puede recorrer los puestos al azar, y eso equivale al muestreo. O puede tener una conjetura en la cabeza («las verduras seguramente son más baratas en los puestos del fondo»), ir a comprobar precisamente esa y recordar el resultado. La curiosidad es el segundo escenario.

¿Qué se sabe sobre Qué falla en los agentes populares?

A continuación, los autores analizan las clases de agentes existentes: los de búsqueda, los de memoria a largo plazo y los «investigadores científicos». El balance no es alentador. Solo las arquitecturas con seguimiento explícito de hipótesis o con un modelo del mundo entrenable cumplen cuatro de los cinco requisitos. Y ninguno de los sistemas analizados se fija por sí mismo objetivos de exploración. Los demás tienen problemas distintos.

¿Qué se sabe sobre Qué debe hacer el desarrollador?

La utilidad práctica del artículo está en que ofrece una lista de verificación y la idea de pruebas de comportamiento de «caja negra». Estas ayudan a distinguir la exploración real de los vagabundeos aleatorios. Si tiene un agente que debe dominar una API, una base de código o una interfaz desconocidas, puede comprobar si formula hipótesis verificables, si elige acciones que permitan distinguir entre ellas y si su comportamiento cambia después de que un pronóstico se refute.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…