De onde vem a autoaprimoramento físico dos VLMs: uma lei de escala para agentes LLM

De onde vem a autoaprimoramento físico dos VLMs: uma lei de escala

para agentes LLM

Por que alguns modelos Vision-Language lidam melhor com tarefas físicas do que outros, e como exatamente eles melhoram com a experiência, permanecia uma questão sem resposta. Uma equipe internacional da Galbot (autores: Zekai Li, Jiayi Yu, Jinlu Zhang, Luyang Niu, Zekun Qi, Jun Zheng, Xuchuan Chen, Dairu Liu, Yintianrun Zhang, He Wang, Li Yi) publicou um estudo que desmonta de forma sistemática os mecanismos de autoaprimoramento recursivo físico em agentes Vision-Language.

O estudo introduz o PhysRSI-eval, uma metodologia para avaliar quantitativamente a RSI física por meio de uma métrica de cinco dimensões. Em vez de um resultado binário tradicional, os autores medem cinco aspectos do aprendizado: • First-Attempt Performance — taxa de sucesso na primeira tentativa • Efficiency — ritmo de crescimento do desempenho • Success — proporção final de tentativas bem-sucedidas • Budget — número de interações consumidas • Improvement from Failure — capacidade de aprender com os erros

Configuração experimental e a Physical Barrel Hypothesis

Os autores testaram diferentes modelos Vision-Language em 18 tarefas de manipulação com o mesmo orçamento de interações. A análise dos resultados levou à formulação da Physical Barrel Hypothesis: diferentes capacidades do VLM limitam diferentes partes do processo de melhoria. Assim como a capacidade de um barril é determinada pela sua tábua mais curta, diferentes componentes do agente — compreensão visual, lógica de planejamento, precisão de controle — se tornam gargalos em diferentes etapas do aprendizado.

As métricas de cinco dimensões revelaram diferenças ocultas: sistemas com pontuações médias semelhantes em benchmarks públicos podem divergir bastante em seus perfis de melhoria. Pontuações finais altas não garantem progresso rápido nem eficiente — pontuações médias tradicionais escondem diferenças importantes nas trajetórias de aprendizado.

Escalonamento e previsibilidade

O estudo abordou o escalonamento a partir de dois ângulos. O escalonamento observacional responde: é possível prever o desempenho relativo de um agente VLM em tarefas físicas a partir das capacidades públicas conhecidas do modelo? O segundo ângulo: prever o progresso tardio a partir do feedback físico inicial — se, nas primeiras tentativas, o agente mostra um padrão específico de erros, é possível prever sua trajetória posterior?

Juntas, essas duas análises respondem à pergunta central: com que rapidez e até onde um agente pode melhorar?

Intervenções no workspace e a arquitetura da experiência

Os autores realizaram experimentos manipulando condições para entender o que resta da melhoria após a intervenção: • Remover o histórico de interações reduzia o sucesso nas rodadas tardias — o histórico é crítico para o aprendizado • Congelar a configuração do workspace não destruía a utilidade da experiência em novos cenários — a experiência é parcialmente transferível • Três casos de tarefas cruzadas alcançaram o sucesso mais rápido em certas condições — a multitarefa acelera o aprendizado

Conclusão-chave: a adaptação a uma cena específica e a experiência reutilizável existem em paralelo, não em conflito.

Contexto no panorama da autoaprimoramento recursivo

No Hugging Face estão listados trabalhos relacionados que desenvolvem ideias semelhantes: • PhysEvo: Astra Can Act, Let It (2026) • Agent Plasticity: Measuring Self-Improvement Through Experience (2026) • SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness (2026) • Long-Horizon Scaling: How Model Capabilities Shape the Returns to Computation (2026) • HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? (2026) • AReaL-RSI: Adaptive Scaling and Coordination of Recursive Self-Improvement (2026) • RSIGym: A Flexible Environment for Recursive Self-Improvement (2026)

O projeto está disponível em physrsi-eval.github.io com código completo, dados e documentação.