OpenMobile-2 abre un agente móvil: 79,9 en AndroidWorld y más de 110 aplicaciones

El equipo de OpenMobile-2 ha publicado un agente móvil de nivel cercano a la frontera. Ha abierto los pesos del modelo resultante y también todo el cimiento: entorno, datos y recetas de entrenamiento. En AndroidWorld el agente alcanza 79,9, en MobileWorld 50,4, y en dispositivos reales con SPA-Bench el resultado subió de 31,9 a 59,6. La base son 35 aplicaciones comerciales simuladas, unas 12 mil trayectorias para supervised fine-tuning y más de 2 mil tareas de RL con verificación automática.

Un entorno de pruebas con 110 aplicaciones

La pieza central del trabajo es MobileGym++. Se trata de un conjunto de 35 aplicaciones realistas al estilo de las comerciales, con funcionalidad rica y escenarios que atraviesan varias aplicaciones a la vez. Además, el entorno se puede controlar por completo: el estado se restablece y el resultado de cada tarea se comprueba mediante programa. Para el aprendizaje por refuerzo esto es crítico, porque la recompensa debe calcularse de forma automática y reproducible, algo que los servicios en producción, con sus cuentas y su contenido cambiante, no ofrecen.

A los simuladores se suman aplicaciones configuradas en emuladores de Android. En conjunto, la plataforma supera las 110 aplicaciones. Esta diversidad actúa contra el sobreajuste a un conjunto reducido de interfaces, que es donde suelen fallar muchos agentes móviles.

Datos y un enfoque híbrido de GUI con herramientas

Sobre esta base, los autores reunieron casi 12 mil trayectorias de interacción para SFT y, según afirman, la mayor colección abierta de datos de RL verificables para agentes móviles: más de 2 mil tareas ejecutables con recompensa automática.

La segunda idea es experimental. Las aplicaciones exponen parte de sus funciones como herramientas app-native, pero la interfaz sigue disponible. Dentro de una misma tarea, el agente alterna toques y deslizamientos con llamadas a herramientas: cuando es más rápido llamar a una función, la invoca; cuando hace falta la pantalla, trabaja a través de la GUI. En MobileGym++ se han implementado más de 300 herramientas, con capacidades cuidadosamente acotadas, en 50+ aplicaciones.

Para la evaluación se ha añadido MobileGym++ Bench: escenarios largos y complejos en aplicaciones comerciales. El mismo conjunto de tareas se puede ejecutar en modo «solo GUI» y en modo híbrido, de modo que la aportación de las herramientas se mide de forma directa.

Cifras clave:

• AndroidWorld: 79,9
• MobileWorld: 50,4
• SPA-Bench en dispositivos reales: de 31,9 a 59,6
• Entorno: 35 aplicaciones simuladas, más de 110 en total con los emuladores
• Datos de SFT: unas 12 mil trayectorias
• Datos de RL: más de 2 mil tareas con recompensa automática
• Herramientas: 300+ en 50+ aplicaciones

Qué pueden probar los equipos

Para los grupos de investigación, lo más sencillo es partir de un entorno ya preparado con tareas verificables en lugar de construir un banco de pruebas propio desde cero: así, el entrenamiento y la evaluación son comparables con los resultados publicados. A quienes desarrollan asistentes móviles les resulta útil sobre todo el benchmark híbrido: muestra cuánta precisión y cuántos pasos se ganan al exponer las funciones de la aplicación como herramientas, frente al trabajo puramente a través de la pantalla. En el fondo es la misma lógica que el function calling en los LLM, trasladada a la interfaz móvil.

Hay también salvedades. Los propios autores describen el modo híbrido como experimental. El salto en SPA-Bench de 31,9 a 59,6 parece sólido, pero el resumen no indica con qué punto de referencia exacto se hace la comparación, así que conviene consultar el artículo completo antes de sacar conclusiones. La valoración de «cercano a la frontera» también procede de los propios autores. Se puede comprobar de inmediato: todo está publicado en la página del proyecto, os-copilot.github.io/OpenMobile2-Home.