Apple LensVLM comprime o contexto longo de agentes em imagens e ensina o modelo a dar “zoom”

A Apple propôs o LensVLM, um esquema em que o contexto acumulado de um agente é armazenado como um conjunto de imagens, e um modelo de visão e linguagem “aproxima” os trechos necessários ao longo do trabalho. A ideia se apoia no DeepSeek-OCR, que renderizava texto em imagens e obtinha compressão de cerca de 10 vezes, com precisão de reconhecimento de aproximadamente 97%. A Apple leva esse princípio do reconhecimento de documentos para tarefas longas de agentes, nas quais o contexto cresce a cada passo. No trecho disponível do material, não há benchmarks próprios do LensVLM, então ainda é cedo para avaliar os resultados.

O problema: o resumo apaga as pistas

Um agente que trabalha por muito tempo em uma tarefa acumula de tudo: trechos de código, respostas de ferramentas, logs de comandos, o histórico das próprias ações. A janela de contexto é limitada, e o custo e a latência crescem junto com o tamanho da entrada. A saída padrão é a sumarização: os registros antigos são substituídos por um resumo curto.

Esse recurso tem um ponto fraco. Um registro que parecia lixo no passo 20 pode se revelar decisivo no passo 80: uma linha de stack trace, o valor de um parâmetro, o nome de um arquivo. Se na memória restou apenas o resumo, não há como recuperar o detalhe perdido. Aqui, a compressão é irreversível.

Como funciona o LensVLM

O LensVLM muda o próprio formato de armazenamento. Em vez de reescrever o histórico de forma mais curta, o contexto é convertido em imagens, nas quais o texto original é preservado por inteiro. Primeiro, o modelo vê uma representação comprimida de todo o contexto. Depois, pode “apontar a lente” para uma área específica e examiná-la em resolução maior. É parecido com o que uma pessoa faz ao folhear um documento longo e depois voltar à página de que precisa.

Segundo a descrição da abordagem, os elementos principais são:

• Formato do contexto: código, saídas de ferramentas e registros de interações são renderizados em imagens.
• Mecanismo de acesso: o modelo escolhe uma área e a amplia, em vez de ler tudo com o mesmo nível de detalhe.
• Cenário-alvo: tarefas longas de agentes, em que o contexto cresce continuamente.
• Trabalho de base: o DeepSeek-OCR, com compressão visual de texto.
• Métricas de precisão publicadas, taxa de compressão e latência não aparecem no texto disponível.

A principal diferença em relação à sumarização é a reversibilidade. Os detalhes não são descartados; apenas ficam representados de forma mais grosseira e disponíveis sob demanda.

O que continua em aberto

O armazenamento visual de texto tem limitações conhecidas. Fonte pequena, código denso e tabelas ficam mais difíceis de ler sob compressão forte, e um erro de reconhecimento em um identificador ou número pode custar mais caro do que a perda de uma frase inteira. Além disso, o passo de “aproximar” exige que o modelo entenda o que precisa antes mesmo de ter visto. Se a escolha da área for ruim, o agente vai deixar passar a linha necessária, do mesmo jeito que deixaria depois de uma sumarização.

Outra questão é o custo. Os tokens visuais reduzem o tamanho da entrada, mas as consultas adicionais aos trechos ampliados acrescentam chamadas e latência. O ganho depende de com que frequência o agente realmente precisa voltar a detalhes antigos.

O que testar na prática

Equipes que constroem agentes de longa duração devem encarar o LensVLM como uma hipótese para testes próprios, e não como uma solução pronta. Um plano razoável é este:

• Montar um conjunto de tarefas em que a resposta dependa de um detalhe do início da sessão e comparar o armazenamento visual com a sumarização e com o contexto longo convencional.
• Medir separadamente os erros em identificadores, caminhos de arquivos, números e trechos de código.
• Considerar o custo total: tokens, número de consultas adicionais e latência, e não apenas o tamanho do contexto original.
• Esperar a publicação do artigo e de resultados abertos antes de mudar a arquitetura de memória em produção.

Se a abordagem se confirmar em medições independentes, dará aos agentes uma memória da qual os detalhes podem ser recuperados. Por enquanto, continua sendo uma proposta da Apple que ainda precisa de números.