Шмидхубер и Пентленд объяснили, почему температура не делает агента любопытным
Поднять температуру или переписать промпт — значит лишь разнообразить действия агента, а не научить исследовать. Авторы статьи со Шмидхубером считают любопытством другое: прогноз о среде, действия ради проверки прогноза и память вне контекстного окна. Четыре из пяти требований выполняют только архитектуры с явными гипотезами или обучаемой моделью мира. Поэтому в агентах стоит проверять не разнообразие шагов, а то, меняются ли прогнозы после опыта.
AI-обработка оригинала TG: @gonzo_ML (gonzo-обзоры ML статей); редакция Hamidun News
Многие команды, которые строят автономных агентов, борются с одной и той же проблемой: агент топчется на месте. Он повторяет похожие действия, не пробует нового и не узнаёт о среде ничего сверх того, что уже было в промпте. Привычное лекарство — поднять температуру, добавить случайности в сэмплирование или написать в системном промпте «будь любопытным». Группа авторов во главе с Альфонсо Амайуэласом, в которую вошли Юрген Шмидхубер и Алекс Пентленд, утверждает: это лекарство не работает. Так агент становится разнообразнее, но не любопытнее.
Чем любопытство отличается от случайности
Авторы берут классическую идею любопытства из обучения с подкреплением и переносят её на LLM-агентов. Бытовая аналогия простая. Турист на незнакомом базаре может ходить по рядам случайно, и это сэмплирование. А может держать в голове догадку («овощи, наверное, дешевле в дальних рядах»), пойти проверить именно её и запомнить результат. Любопытство — это второй сценарий.
Из этого следуют три вещи, которые авторы считают обязательными. Во-первых, у агента должна быть предсказательная модель среды: что произойдёт, если я сделаю вот это. Во-вторых, действия выбираются так, чтобы эту модель улучшить, а не просто чтобы получить награду. В-третьих, выводы сохраняются за пределами контекстного окна. Если знание живёт только в промпте, оно исчезает вместе с сессией, и агент каждый раз начинает с нуля. Всего в статье пять архитектурных требований, а мы здесь описали основные идеи, которые лежат в их основе.
Что не так с популярными агентами
Дальше авторы разбирают существующие классы агентов: поисковых, с долгой памятью и «научных исследователей». Итог неутешителен. Четыре из пяти требований выполняют только архитектуры, где есть явное отслеживание гипотез или обучаемая модель мира. Ни одна из разобранных систем при этом не ставит себе цели исследования самостоятельно.
У остальных проблемы разные. Одни агенты по сути оптимизируют внутреннюю перплексию токенов, то есть «удивление» языковой модели собственным текстом, а не неопределённость относительно реального мира. Другие копят эпизоды в памяти, но не сверяют свои прогнозы с тем, что произошло, поэтому память растёт, а понимания среды не прибавляется. Третьи действительно ищут решения, но только внутри целей, которые заранее задал человек. Это хороший оптимизатор, а не исследователь.
Что с этим делать разработчику
Практическая польза статьи в том, что она даёт чеклист и идею поведенческих тестов «чёрного ящика». Они помогают отличить настоящее исследование от случайных блужданий. Если у вас есть агент, который должен осваивать незнакомое API, кодовую базу или интерфейс, можно проверить: формулирует ли он проверяемые гипотезы, выбирает ли действия, которые их различают, и меняется ли поведение после опровергнутого прогноза. Если ответ «нет», рост температуры вам не поможет, а токены на разнообразные, но бессмысленные попытки будут уходить впустую.
Для продактов вывод тоже конкретный. Заявление «наш агент сам исследует» стоит проверять так же, как любое другое: где хранится модель среды, что именно обновляется и переживает ли оно сессию. Внешняя память с явными записями гипотез и результатов проверок выглядит куда более надёжной инженерной базой, чем надежда на промпт.
Ограничения
Это позиционная статья, а не бенчмарк: готовых цифр прироста качества в ней нет, а критерии пока скорее ориентир, чем стандарт. Авторы сами оговариваются, что на трансформерах с неявным состоянием абляции, которые отделяют настоящее исследование от случайного, не работают: заглянуть внутрь и увидеть, строит ли модель гипотезы, нельзя. Остаются только внешние поведенческие тесты, а они менее точны. Кроме того, требование, чтобы агент сам ставил цели исследования, пока не выполняет никто, и неясно, нужно ли это в прикладных задачах, где цель задаёт человек.
Тем не менее ценность текста в том, что он даёт язык для разговора. Вместо расплывчатого «агент недостаточно креативен» теперь можно спросить: есть ли у него модель мира, обновляется ли она и сохраняется ли за пределами контекста.
- 20 нояб. 2026 г.Standard Bank ускорил проверку ИИ-приложений с двух недель до двух часов
- 20 нояб. 2026 г.Firecrawl Local: скрейпер для агентов стал в 37 раз быстрее и в 230 раз легче по памяти
- 20 нояб. 2026 г.ИИ-агент звонит пациентам перед приёмом: завершённых скринингов на 10% больше, чем с IVR
- 20 нояб. 2026 г.Claude за шесть недель вывел точную границу c/9,1266 в физике чёрных дыр
Вопросы и ответы по материалу
Что известно по теме: чем любопытство отличается от случайности?
Авторы берут классическую идею любопытства из обучения с подкреплением и переносят её на LLM-агентов. Бытовая аналогия простая. Турист на незнакомом базаре может ходить по рядам случайно, и это сэмплирование. А может держать в голове догадку («овощи, наверное, дешевле в дальних рядах»), пойти проверить именно её и запомнить результат. Любопытство — это второй сценарий. Из этого следуют три вещи, которые авторы считают обязательными.
Что известно по теме: что не так с популярными агентами?
Дальше авторы разбирают существующие классы агентов: поисковых, с долгой памятью и «научных исследователей». Итог неутешителен. Четыре из пяти требований выполняют только архитектуры, где есть явное отслеживание гипотез или обучаемая модель мира. Ни одна из разобранных систем при этом не ставит себе цели исследования самостоятельно. У остальных проблемы разные.
Что известно по теме: что с этим делать разработчику?
Практическая польза статьи в том, что она даёт чеклист и идею поведенческих тестов «чёрного ящика». Они помогают отличить настоящее исследование от случайных блужданий. Если у вас есть агент, который должен осваивать незнакомое API, кодовую базу или интерфейс, можно проверить: формулирует ли он проверяемые гипотезы, выбирает ли действия, которые их различают, и меняется ли поведение после опровергнутого прогноза.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.