OpenMobile-2 abre o código de um agente móvel: 79,9 no AndroidWorld e mais de 110 aplicativos

A equipe do OpenMobile-2 publicou um agente móvel de nível próximo à fronteira e abriu todo o alicerce do trabalho, além dos pesos do modelo resultante: ambiente, dados e receitas de treinamento. No AndroidWorld, o agente marca 79,9; no MobileWorld, 50,4. Em dispositivos reais, no SPA-Bench, o resultado subiu de 31,9 para 59,6. A base do projeto são 35 aplicativos comerciais simulados, cerca de 12 mil trajetórias para supervised fine-tuning e mais de 2 mil tarefas de RL com verificação automática.

Um sandbox com 110 aplicativos

A peça central do trabalho é o MobileGym++, um conjunto de 35 aplicativos realistas, no estilo dos comerciais, com funcionalidades ricas e cenários que passam por vários aplicativos ao mesmo tempo. Ainda assim, o ambiente pode ser totalmente controlado: o estado é redefinido e o resultado de cada tarefa é verificado por código. Para o aprendizado por reforço, isso é crítico, porque a recompensa precisa ser calculada de forma automática e reproduzível, e serviços reais, com contas e conteúdo que muda, não oferecem isso.

Aos simuladores somam-se aplicativos configurados em emuladores Android. Juntos, formam uma plataforma com mais de 110 aplicativos. Essa diversidade ajuda a evitar o overfitting a um conjunto restrito de interfaces, que é justamente onde muitos agentes móveis costumam falhar.

Dados e a abordagem híbrida entre GUI e ferramentas

Sobre essa base, os autores reuniram quase 12 mil trajetórias de interação para SFT e, segundo eles, a maior coleção aberta de dados de RL verificáveis para agentes móveis: mais de 2 mil tarefas executáveis com recompensa automática.

A segunda ideia é experimental. Os aplicativos expõem parte das funções como ferramentas app-native, e a interface continua disponível. Dentro de uma mesma tarefa, o agente alterna toques e gestos de deslizar com chamadas de ferramentas: quando é mais rápido chamar uma função, ele a chama; quando é preciso usar a tela, trabalha pela GUI. No MobileGym++ há mais de 300 ferramentas, com escopo de capacidades cuidadosamente limitado, em 50+ aplicativos.

Para a avaliação, foi adicionado o MobileGym++ Bench: cenários longos e complexos em aplicativos comerciais. O mesmo conjunto de tarefas pode ser executado no modo «somente GUI» e no híbrido, de modo que a contribuição das ferramentas é medida diretamente.

Principais números:

• AndroidWorld: 79,9
• MobileWorld: 50,4
• SPA-Bench em dispositivos reais: de 31,9 para 59,6
• Ambiente: 35 aplicativos simulados, mais de 110 no total com os emuladores
• Dados de SFT: cerca de 12 mil trajetórias
• Dados de RL: mais de 2 mil tarefas com recompensa automática
• Ferramentas: 300+ em 50+ aplicativos

O que as equipes podem testar

Para grupos de pesquisa, o caminho mais simples é adotar o ambiente pronto, com tarefas verificáveis, em vez de montar um estande próprio do zero: treinamento e avaliação passam a ser comparáveis aos resultados publicados. Para quem desenvolve assistentes móveis, o mais útil é o benchmark híbrido: ele mostra quanto de precisão e de economia de passos se ganha ao expor funções do aplicativo como ferramentas, em comparação com o trabalho puramente pela tela. No fundo, é a mesma lógica do function calling em LLMs, só que transposta para a interface móvel.

Há ressalvas. Os próprios autores classificam o modo híbrido como experimental. O avanço no SPA-Bench, de 31,9 para 59,6, parece forte, mas o resumo do artigo não informa qual é o ponto de partida da comparação, então vale consultar o artigo completo antes de tirar conclusões. A avaliação de «próximo à fronteira» também vem dos próprios autores. Dá para checá-la desde já: tudo está publicado na página do projeto, os-copilot.github.io/OpenMobile2-Home.