Agente de 8 bilhões de parâmetros controla apps iOS no nível do Gemini 3.1 Pro

Uma equipe de pesquisadores mostrou que é possível ensinar um modelo pequeno, de 8 bilhões de parâmetros, a usar com segurança aplicativos iOS reais, a um custo menor do que o das redes neurais de ponta. O agente não foi treinado com exemplos gravados. Ele aprendeu errando, direto em iPhones virtuais ativos. No UINavBench, um teste com aplicativos reais para iOS, ele igualou o Gemini 3.1 Pro e superou o Gemini 3.5 Flash e o Qwen3.8-27B. As tarefas são do tipo "encontre um par de tênis e coloque no carrinho". O agente precisa tocar nos botões, rolar as telas e não se perder.

Por que agentes pequenos de interface costumam falhar

Agentes que olham para uma captura de tela e tocam na tela por conta própria atraem cada vez mais atenção. Os modelos de ponta dão conta do recado, mas, segundo a estimativa dos autores, uma única tarefa muitas vezes custa alguns dólares. Para o uso diário, isso é caro.

Por isso, todos querem modelos pequenos. Mas os métodos típicos de treinamento têm pontos fracos:

• Ajuste fino com demonstrações (SFT). O modelo copia trajetos gravados por pessoas. Quase não há erros nesses registros, então ele não sabe como é uma falha nem o que fazer depois dela. Quando sai do caminho habitual, o agente se perde.
• Aprendizado por reforço com recompensa só no final. O agente recebe um sinal apenas quando a tarefa termina. Se os acertos são raros, quase não há sinal. Passos que de fato aproximavam do objetivo não são recompensados se a tarefa fracassar mesmo assim.
• Aprendizado por reforço de passo único. O modelo é recompensado por se parecer com uma sequência de ações de referência, e o problema é o mesmo do SFT.

Planejador, executor e juiz

Os autores dividiram o agente em duas partes. O planejador recebe a instrução, a captura de tela, o histórico dos passos anteriores e o restante do plano. Ele raciocina em cadeia e produz o passo atual e o plano para os próximos. Entre as ações possíveis está fazer uma pergunta ao usuário, caso a tarefa tenha sido formulada de maneira vaga. Por exemplo, que tênis exatamente procurar.

O modelo de vinculação à tela (grounding) pega o texto do passo e o transforma em uma ação concreta, com coordenadas de toque. Trata-se de uma correspondência quase mecânica entre "intenção" e "ponto na tela", que o ajuste fino convencional resolve bem. O aprendizado por reforço, que é caro, ficou reservado ao planejador, que precisa raciocinar e saber se virar.

As recompensas ficam a cargo de outro modelo de linguagem, no papel de juiz. Ele emite dois sinais:

• uma recompensa densa a cada passo: se ele aproximou o agente do objetivo, se houve alucinações e ciclos inúteis;
• uma recompensa final pela conclusão de toda a tarefa.

O treinamento usa o algoritmo PPO com estimativa de vantagem por passo (GAE), que calcula quanto um passo específico foi melhor ou pior do que o esperado. Para evitar que o agente prolongue a sessão em busca de recompensas por passos intermediários, os autores introduziram um desconto assimétrico. As recompensas por passo perdem valor ao longo do tempo; a recompensa final por sucesso, não.

Outra descoberta dos autores se chama GiGPPO. No PPO existe o crítico, um modelo que avalia quão bom é o estado atual. O crítico é instável, então são adicionados a ele sinais de telas visualmente parecidas, vindas de execuções paralelas. O método relacionado GiGPO faz a média dos resultados apenas para estados exatamente idênticos. Em aplicativos reais, essas coincidências quase não ocorrem, e os grupos se reduzem a casos isolados.

Centenas de iPhones virtuais e os resultados

Treinar em dispositivos ativos exige infraestrutura. Os autores usam dispositivos iOS virtuais na nuvem, controlados por VNC: toque, deslizar, entrada de texto e toque longo. Cada dispositivo é configurado uma única vez: instalam-se os aplicativos, faz-se login no Apple ID e salva-se um snapshot da máquina virtual. Depois de cada episódio, o sistema volta ao snapshot em vez de ser reiniciado, e isso leva cerca de 10 segundos. Durante o treinamento, rodam 512 trajetórias ao mesmo tempo, cada uma com seu próprio dispositivo. Segundo os autores, este é o primeiro treinamento de agentes de interface nessa escala feito inteiramente em dispositivos iOS ativos, com aplicativos reais.

O ponto de partida foi o Qwen3-VL-8B-Instruct, ajustado com gravações de humanos. Foram usados dois conjuntos de dados próprios (aplicativos da Apple e de terceiros) e o GUIOdyssey, que é público. Ele contém aplicativos Android, mas inclui tarefas de alternância entre vários aplicativos, que não existem nos dados de iOS.

O que as medições no UINavBench, iOSWorld e AndroidWorld mostraram:

• o agente superou com folga os dois esquemas de referência: o ajuste fino com demonstrações e o aprendizado com recompensa só no final;
• as recompensas densas e o GiGPPO aceleram a convergência do treinamento;
• no AndroidWorld, em que o agente de iOS não foi treinado, a taxa de sucesso é quase sete vezes maior do que após o ajuste fino convencional;
• no UINavBench, o agente superou o Qwen3.8-27B e o Gemini 3.5 Flash e igualou o Gemini 3.1 Pro.

O que isso muda na prática

O ganho de sete vezes no Android indica que o agente aprendeu técnicas gerais de navegação, e não os trajetos de aplicativos iOS específicos. Para empresas que desenvolvem assistentes móveis, é um sinal: um modelo compacto, potencialmente capaz de rodar no próprio dispositivo, pode chegar perto de um modelo de ponta se for treinado em ambientes reais, com feedback passo a passo.

Há ressalvas. Os resultados vêm de benchmarks, e o juiz usado no treinamento também é um modelo de linguagem, ou seja, a qualidade das recompensas depende dele. Também é necessária uma frota considerável de dispositivos virtuais. Mas a receita é clara: separar o planejamento da vinculação à tela, recompensar o progresso e não só o resultado final, e treinar em aplicativos de verdade.