Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

Schmidhuber e Pentland explicam por que temperatura não deixa o agente curioso

Aumentar a temperatura ou reescrever o prompt só deixa as ações do agente mais variadas, mas não o ensina a explorar. Os autores do artigo, entre eles Schmidhuber, definem curiosidade como outra coisa: uma previsão sobre o ambiente, ações tomadas para testar essa previsão e memória fora da janela de contexto. Quatro dos cinco requisitos só são atendidos por arquiteturas com hipóteses explícitas ou um modelo de mundo treinável. Por isso, vale verificar nos agentes não a diversidade de passos, mas se as previsões mudam depois da experiência.

Processado por IA de TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Schmidhuber e Pentland explicam por que temperatura não deixa o agente curioso
Fonte: TG: @gonzo_ML (gonzo-обзоры ML статей). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Editor-chefe
Dado-chave #1Os agentes populares otimizam a perplexidade dos tokens, e não a precisão das previsões sobre o ambiente
Dado-chave #2Agentes com memória acumulam episódios, mas não usam esses registros para checar suas previsões
Dado-chave #3Nenhuma das arquiteturas analisadas define sozinha objetivos de exploração

Muitas equipes que constroem agentes autônomos enfrentam o mesmo problema: o agente fica andando em círculos. Ele repete ações parecidas, não tenta nada novo e não aprende sobre o ambiente nada além do que já estava no prompt. O remédio habitual é aumentar a temperatura, incluir mais aleatoriedade na amostragem ou escrever no prompt de sistema "seja curioso". Um grupo de autores liderado por Alfonso Amayuelas, que inclui Jürgen Schmidhuber e Alex Pentland, afirma que esse remédio não funciona. O agente fica mais diversificado, mas não mais curioso.

Como a curiosidade se diferencia da aleatoriedade

Os autores pegam a ideia clássica de curiosidade do aprendizado por reforço e a aplicam a agentes de LLM. A analogia cotidiana é simples. Um turista num bazar desconhecido pode andar pelas bancas ao acaso, e isso equivale à amostragem. Ou pode ter uma suspeita na cabeça ("os legumes devem ser mais baratos nas bancas do fundo"), ir verificar justamente essa hipótese e guardar o resultado. Curiosidade é o segundo cenário.

Disso decorrem três pontos que os autores consideram obrigatórios. Primeiro, o agente precisa de um modelo preditivo do ambiente: o que acontece se eu fizer isto. Segundo, as ações são escolhidas para melhorar esse modelo, e não apenas para obter recompensa. Terceiro, as conclusões são guardadas fora da janela de contexto. Se o conhecimento vive só no prompt, ele desaparece junto com a sessão, e o agente recomeça do zero a cada vez. No total, o artigo traz cinco requisitos arquiteturais; aqui, descrevemos as principais ideias por trás deles.

O que há de errado com os agentes populares

Em seguida, os autores analisam as classes existentes de agentes: de busca, com memória de longo prazo e "pesquisadores científicos". O resultado não é animador. Quatro dos cinco requisitos só são atendidos por arquiteturas com rastreamento explícito de hipóteses ou um modelo de mundo treinável. Além disso, nenhum dos sistemas analisados define por conta própria um objetivo de exploração.

Os problemas dos demais variam. Alguns agentes, na prática, otimizam a perplexidade interna dos tokens, ou seja, a "surpresa" do modelo de linguagem com o próprio texto, e não a incerteza sobre o mundo real. Outros acumulam episódios na memória, mas não confrontam suas previsões com o que de fato aconteceu; assim, a memória cresce sem que a compreensão do ambiente aumente. Um terceiro grupo realmente busca soluções, mas apenas dentro de objetivos definidos previamente por uma pessoa. Isso é um bom otimizador, não um explorador.

O que o desenvolvedor pode fazer com isso

A utilidade prática do artigo está no checklist e na ideia de testes comportamentais de caixa-preta. Eles ajudam a distinguir exploração genuína de divagação aleatória. Se você tem um agente que precisa dominar uma API, uma base de código ou uma interface desconhecidas, dá para verificar: ele formula hipóteses testáveis? Escolhe ações que distinguem uma hipótese da outra? O comportamento muda depois que uma previsão é refutada? Se a resposta for "não", aumentar a temperatura não vai ajudar, e os tokens gastos em tentativas variadas, mas sem sentido, serão desperdiçados.

Para gerentes de produto, a conclusão também é concreta. A afirmação "nosso agente explora sozinho" deve ser checada como qualquer outra: onde fica armazenado o modelo do ambiente, o que exatamente é atualizado e se isso sobrevive à sessão. Uma memória externa com registros explícitos de hipóteses e de resultados de verificações parece uma base de engenharia muito mais confiável do que apostar no prompt.

Limitações

Este é um position paper, e não um benchmark: o texto não traz números prontos de ganho de qualidade, e os critérios ainda são mais uma referência do que um padrão. Os próprios autores ressalvam que, em transformers com estado implícito, as ablações que separam a exploração genuína da aleatória não funcionam: não é possível olhar por dentro e ver se o modelo constrói hipóteses. Restam apenas testes comportamentais externos, que são menos precisos. Além disso, o requisito de que o agente defina sozinho seus objetivos de exploração ainda não é cumprido por ninguém, e não está claro se isso é necessário em tarefas aplicadas, nas quais o objetivo é dado por uma pessoa.

Mesmo assim, o valor do texto está em oferecer uma linguagem para a conversa. Em vez de um vago "o agente não é criativo o bastante", agora é possível perguntar: ele tem um modelo de mundo, esse modelo é atualizado e se mantém fora do contexto?

História

Perguntas frequentes sobre a notícia

Como a curiosidade se diferencia da aleatoriedade?

Os autores pegam a ideia clássica de curiosidade do aprendizado por reforço e a aplicam a agentes de LLM. A analogia cotidiana é simples. Um turista num bazar desconhecido pode andar pelas bancas ao acaso, e isso equivale à amostragem. Ou pode ter uma suspeita na cabeça ("os legumes devem ser mais baratos nas bancas do fundo"), ir verificar justamente essa hipótese e guardar o resultado. Curiosidade é o segundo cenário. Disso decorrem três pontos que os autores consideram obrigatórios.

O que há de errado com os agentes populares?

Em seguida, os autores analisam as classes existentes de agentes: de busca, com memória de longo prazo e "pesquisadores científicos". O resultado não é animador. Quatro dos cinco requisitos só são atendidos por arquiteturas com rastreamento explícito de hipóteses ou um modelo de mundo treinável. Além disso, nenhum dos sistemas analisados define por conta própria um objetivo de exploração. Os problemas dos demais variam.

O que o desenvolvedor pode fazer com isso?

A utilidade prática do artigo está no checklist e na ideia de testes comportamentais de caixa-preta. Eles ajudam a distinguir exploração genuína de divagação aleatória. Se você tem um agente que precisa dominar uma API, uma base de código ou uma interface desconhecidas, dá para verificar: ele formula hipóteses testáveis? Escolhe ações que distinguem uma hipótese da outra? O comportamento muda depois que uma previsão é refutada?

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…