Schmidhuber et Pentland expliquent pourquoi la température ne rend pas un agent curieux
Augmenter la température ou réécrire le prompt ne fait que diversifier les actions de l'agent, sans lui apprendre à explorer. Pour les auteurs de l'article cosigné par Schmidhuber, la curiosité repose sur autre chose : une prédiction sur l'environnement, des actions choisies pour vérifier cette prédiction et une mémoire située hors de la fenêtre de contexte. Seules les architectures dotées d'un suivi explicite des hypothèses ou d'un modèle du monde appris satisfont quatre des cinq exigences. Chez un agent, il vaut donc mieux vérifier non pas la variété des étapes, mais si ses prédictions changent après l'expérience.
Traité par IA depuis TG: @gonzo_ML (gonzo-обзоры ML статей) ; édité par Hamidun News
Beaucoup d'équipes qui construisent des agents autonomes se heurtent au même problème : l'agent fait du surplace. Il répète des actions similaires, n'essaie rien de nouveau et n'apprend rien de l'environnement au-delà de ce que contenait déjà le prompt. Le remède habituel consiste à monter la température, à injecter de l'aléa dans l'échantillonnage ou à écrire dans le prompt système « sois curieux ». Un groupe d'auteurs dirigé par Alfonso Amayuelas, dans lequel figurent Jürgen Schmidhuber et Alex Pentland, affirme que ce remède ne fonctionne pas. L'agent devient plus varié, mais pas plus curieux.
Ce qui distingue la curiosité du hasard
Les auteurs reprennent l'idée classique de curiosité issue de l'apprentissage par renforcement et la transposent aux agents LLM. L'analogie du quotidien est simple. Un touriste dans un bazar inconnu peut arpenter les allées au hasard : c'est de l'échantillonnage. Il peut aussi garder en tête une intuition (« les légumes sont sans doute moins chers dans les allées du fond »), aller vérifier précisément celle-là et retenir le résultat. La curiosité, c'est le second scénario.
Trois conditions en découlent, que les auteurs jugent indispensables. D'abord, l'agent doit disposer d'un modèle prédictif de l'environnement : que se passera-t-il si je fais ceci ? Ensuite, il choisit ses actions pour améliorer ce modèle, et pas seulement pour obtenir une récompense. Enfin, ses conclusions sont conservées en dehors de la fenêtre de contexte. Si le savoir ne vit que dans le prompt, il disparaît avec la session et l'agent repart de zéro à chaque fois. L'article compte cinq exigences architecturales au total ; nous décrivons ici les idées principales qui les sous-tendent.
Ce qui cloche chez les agents populaires
Les auteurs passent ensuite en revue plusieurs classes d'agents existantes : agents de recherche, agents à mémoire longue et « chercheurs scientifiques ». Le bilan n'a rien de réjouissant. Seules les architectures dotées d'un suivi explicite des hypothèses ou d'un modèle du monde appris satisfont quatre des cinq exigences. Et aucun des systèmes étudiés ne se fixe lui-même un objectif d'exploration.
Les autres souffrent de problèmes différents. Certains agents optimisent en pratique la perplexité interne des tokens, c'est-à-dire la « surprise » du modèle de langage face à son propre texte, et non l'incertitude sur le monde réel. D'autres accumulent des épisodes en mémoire, mais ne confrontent pas leurs prédictions à ce qui s'est réellement passé : la mémoire grossit, sans que la compréhension de l'environnement progresse. D'autres encore cherchent bel et bien des solutions, mais uniquement dans le cadre d'objectifs fixés d'avance par un humain. C'est un bon optimiseur, pas un explorateur.
Ce que le développeur peut en faire
L'intérêt pratique de l'article tient à la checklist qu'il fournit et à l'idée de tests comportementaux en « boîte noire ». Ces tests aident à distinguer une véritable exploration d'une errance aléatoire. Si vous avez un agent censé maîtriser une API, une base de code ou une interface inconnues, vous pouvez vérifier trois points : formule-t-il des hypothèses vérifiables, choisit-il des actions qui permettent de les départager, et son comportement change-t-il après une prédiction réfutée ? Si la réponse est « non », augmenter la température ne vous aidera pas, et les tokens dépensés en tentatives variées mais absurdes seront gaspillés.
Pour les chefs de produit, la conclusion est tout aussi concrète. L'annonce « notre agent explore de lui-même » mérite d'être vérifiée comme n'importe quelle autre : où est stocké le modèle de l'environnement, qu'est-ce qui est mis à jour exactement, et cela survit-il à la session ? Une mémoire externe contenant des enregistrements explicites des hypothèses et des résultats de vérification offre une base d'ingénierie bien plus fiable que l'espoir placé dans le prompt.
Limites
Il s'agit d'un position paper et non d'un benchmark : l'article ne fournit aucun chiffre de gain de qualité, et ses critères restent pour l'instant une boussole plutôt qu'un standard. Les auteurs reconnaissent eux-mêmes que, sur des transformers à état implicite, les ablations censées séparer la véritable exploration du hasard ne fonctionnent pas : il est impossible de regarder à l'intérieur du modèle pour voir s'il construit des hypothèses. Il ne reste que des tests comportementaux externes, moins précis. Par ailleurs, personne ne satisfait pour l'instant l'exigence selon laquelle l'agent fixe lui-même ses objectifs d'exploration, et l'on ignore si c'est nécessaire dans les tâches appliquées où l'objectif est défini par un humain.
La valeur du texte tient néanmoins à ce qu'il offre un langage pour en discuter. Au lieu du vague « l'agent n'est pas assez créatif », on peut désormais demander : dispose-t-il d'un modèle du monde, ce modèle est-il mis à jour, et est-il conservé en dehors du contexte ?
- 20 nov. 2026Standard Bank ramène la vérification de ses applications d'IA de deux semaines à deux heures
- 20 nov. 2026Firecrawl Local : le scraper pour agents devient 37 fois plus rapide et 230 fois plus léger en mémoire
- 20 nov. 2026Un agent IA appelle les patients avant leur rendez-vous : 10% de dépistages terminés en plus qu'avec l'IVR
- 20 nov. 2026En six semaines, Claude établit la borne exacte c/9,1266 en physique des trous noirs
Questions clés sur cet article
Que sait-on sur Ce qui distingue la curiosité du hasard ?
Les auteurs reprennent l'idée classique de curiosité issue de l'apprentissage par renforcement et la transposent aux agents LLM. L'analogie du quotidien est simple. Un touriste dans un bazar inconnu peut arpenter les allées au hasard : c'est de l'échantillonnage. Il peut aussi garder en tête une intuition (« les légumes sont sans doute moins chers dans les allées du fond »), aller vérifier précisément celle-là et retenir le résultat. La curiosité, c'est le second scénario.
Que sait-on sur Ce qui cloche chez les agents populaires ?
Les auteurs passent ensuite en revue plusieurs classes d'agents existantes : agents de recherche, agents à mémoire longue et « chercheurs scientifiques ». Le bilan n'a rien de réjouissant. Seules les architectures dotées d'un suivi explicite des hypothèses ou d'un modèle du monde appris satisfont quatre des cinq exigences. Et aucun des systèmes étudiés ne se fixe lui-même un objectif d'exploration. Les autres souffrent de problèmes différents.
Que sait-on sur Ce que le développeur peut en faire ?
L'intérêt pratique de l'article tient à la checklist qu'il fournit et à l'idée de tests comportementaux en « boîte noire ». Ces tests aident à distinguer une véritable exploration d'une errance aléatoire. Si vous avez un agent censé maîtriser une API, une base de code ou une interface inconnues, vous pouvez vérifier trois points : formule-t-il des hypothèses vérifiables, choisit-il des actions qui permettent de les départager, et son comportement change-t-il après une prédiction réfutée ?
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.