Schmidhuber y Pentland explican por qué subir la temperatura no vuelve curioso a un agente
Subir la temperatura o reescribir el prompt solo diversifica las acciones del agente; no le enseña a explorar. Los autores del artículo, entre ellos Schmidhuber, entienden la curiosidad como otra cosa: un pronóstico sobre el entorno, acciones dirigidas a comprobar ese pronóstico y una memoria fuera de la ventana de contexto. Solo las arquitecturas con hipótesis explícitas o con un modelo del mundo entrenable cumplen cuatro de los cinco requisitos. Por eso, en un agente conviene comprobar no la variedad de sus pasos, sino si sus pronósticos cambian tras la experiencia.
Procesado por IA desde TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Muchos equipos que construyen agentes autónomos se topan con el mismo problema: el agente da vueltas en el mismo sitio. Repite acciones parecidas, no prueba nada nuevo y no aprende del entorno nada más allá de lo que ya figuraba en el prompt. El remedio habitual consiste en subir la temperatura, añadir aleatoriedad al muestreo o escribir en el prompt de sistema «sé curioso». Un grupo de autores encabezado por Alfonso Amayuelas, en el que participan Jürgen Schmidhuber y Alex Pentland, sostiene que ese remedio no funciona. Con él, el agente se vuelve más variado, pero no más curioso.
En qué se diferencia la curiosidad del azar
Los autores toman la idea clásica de curiosidad del aprendizaje por refuerzo y la trasladan a los agentes LLM. La analogía cotidiana es sencilla. Un turista en un bazar desconocido puede recorrer los puestos al azar, y eso equivale al muestreo. O puede tener una conjetura en la cabeza («las verduras seguramente son más baratas en los puestos del fondo»), ir a comprobar precisamente esa y recordar el resultado. La curiosidad es el segundo escenario.
De ahí se desprenden tres requisitos que los autores consideran obligatorios. Primero, el agente debe tener un modelo predictivo del entorno: qué ocurrirá si hago esto. Segundo, las acciones se eligen para mejorar ese modelo, y no solo para obtener una recompensa. Tercero, las conclusiones se guardan fuera de la ventana de contexto. Si el conocimiento vive solo en el prompt, desaparece con la sesión y el agente empieza de cero cada vez. En total, el artículo plantea cinco requisitos arquitectónicos; aquí hemos descrito las ideas principales en las que se basan.
Qué falla en los agentes populares
A continuación, los autores analizan las clases de agentes existentes: los de búsqueda, los de memoria a largo plazo y los «investigadores científicos». El balance no es alentador. Solo las arquitecturas con seguimiento explícito de hipótesis o con un modelo del mundo entrenable cumplen cuatro de los cinco requisitos. Y ninguno de los sistemas analizados se fija por sí mismo objetivos de exploración.
Los demás tienen problemas distintos. Unos agentes optimizan, en esencia, la perplejidad interna de los tokens, es decir, la «sorpresa» del modelo de lenguaje ante su propio texto, y no la incertidumbre sobre el mundo real. Otros acumulan episodios en la memoria, pero no contrastan sus pronósticos con lo que realmente ocurrió, así que la memoria crece sin que aumente la comprensión del entorno. Unos terceros sí buscan soluciones, pero solo dentro de objetivos fijados de antemano por una persona. Es un buen optimizador, no un explorador.
Qué debe hacer el desarrollador
La utilidad práctica del artículo está en que ofrece una lista de verificación y la idea de pruebas de comportamiento de «caja negra». Estas ayudan a distinguir la exploración real de los vagabundeos aleatorios. Si tiene un agente que debe dominar una API, una base de código o una interfaz desconocidas, puede comprobar si formula hipótesis verificables, si elige acciones que permitan distinguir entre ellas y si su comportamiento cambia después de que un pronóstico se refute. Si la respuesta es «no», subir la temperatura no le ayudará, y los tokens se gastarán en vano en intentos variados pero sin sentido.
Para los responsables de producto, la conclusión también es concreta. La afirmación «nuestro agente explora por sí mismo» conviene verificarla como cualquier otra: dónde se almacena el modelo del entorno, qué se actualiza exactamente y si sobrevive a la sesión. Una memoria externa con registros explícitos de hipótesis y de resultados de comprobación parece una base de ingeniería mucho más fiable que confiar en el prompt.
Limitaciones
Se trata de un artículo de posición, no de un benchmark: no incluye cifras de mejora de calidad y, por ahora, los criterios son más una referencia que un estándar. Los propios autores advierten de que, en transformers con estado implícito, las ablaciones que separan la exploración real de la aleatoria no funcionan: no es posible mirar dentro y ver si el modelo construye hipótesis. Solo quedan las pruebas externas de comportamiento, que son menos precisas. Además, el requisito de que el agente se fije por sí mismo objetivos de exploración no lo cumple nadie por ahora, y no está claro que haga falta en tareas aplicadas donde el objetivo lo define una persona.
Aun así, el valor del texto está en que aporta un lenguaje para discutir el problema. En lugar del vago «el agente no es lo bastante creativo», ahora se puede preguntar: ¿tiene un modelo del mundo, se actualiza y se conserva fuera del contexto?
- 30 may 2026Cómo elige tokens una red neuronal: logits, temperatura y top-p
- 2 may 2026Una red neuronal de detección que prescindió de los transformers
- 8 nov 2026La verificacion de hechos ahorro a la empresa hasta $100 000 en presupuesto publicitario
- 29 ago 2026El calor altera el funcionamiento del cerebro: los científicos empiezan a entender por qué
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre En qué se diferencia la curiosidad del azar?
Los autores toman la idea clásica de curiosidad del aprendizaje por refuerzo y la trasladan a los agentes LLM. La analogía cotidiana es sencilla. Un turista en un bazar desconocido puede recorrer los puestos al azar, y eso equivale al muestreo. O puede tener una conjetura en la cabeza («las verduras seguramente son más baratas en los puestos del fondo»), ir a comprobar precisamente esa y recordar el resultado. La curiosidad es el segundo escenario.
¿Qué se sabe sobre Qué falla en los agentes populares?
A continuación, los autores analizan las clases de agentes existentes: los de búsqueda, los de memoria a largo plazo y los «investigadores científicos». El balance no es alentador. Solo las arquitecturas con seguimiento explícito de hipótesis o con un modelo del mundo entrenable cumplen cuatro de los cinco requisitos. Y ninguno de los sistemas analizados se fija por sí mismo objetivos de exploración. Los demás tienen problemas distintos.
¿Qué se sabe sobre Qué debe hacer el desarrollador?
La utilidad práctica del artículo está en que ofrece una lista de verificación y la idea de pruebas de comportamiento de «caja negra». Estas ayudan a distinguir la exploración real de los vagabundeos aleatorios. Si tiene un agente que debe dominar una API, una base de código o una interfaz desconocidas, puede comprobar si formula hipótesis verificables, si elige acciones que permitan distinguir entre ellas y si su comportamiento cambia después de que un pronóstico se refute.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.