Sova AI lance un assistant Android qui pilote le téléphone sans PC ni root

Sova AI tente d'occuper une niche que les grands acteurs n'ont pas vraiment couverte : un assistant d'IA qui ne se contente pas de répondre aux requêtes, mais agit réellement dans les applications Android, directement sur le smartphone. Le projet se présente comme le premier agent mobile de ce type à ne nécessiter ni ADB, ni connexion USB, ni root, ni liaison avec un PC. L'utilisateur installe une application ordinaire, peut au besoin la définir comme assistant système et donne des ordres vocaux ou écrits. L'agent ouvre alors les services voulus, appuie sur les boutons, fait défiler les écrans et enchaîne les étapes comme le ferait une personne.

Le pari principal de Sova AI n'est pas une énième interface de chat, mais l'idée d'une présence permanente sur l'appareil mobile. Le marché compte déjà des solutions de la catégorie mobile-use, mais beaucoup exigent encore de brancher le téléphone à un ordinateur, de déboguer par câble ou d'autres contournements techniques. Pour le grand public, c'est peu pratique : si un PC est déjà à portée, il est plus logique de confier la tâche au computer-use ou au browser-use classiques.

Les auteurs partent d'un autre scénario : le téléphone doit rester un environnement autonome où l'assistant peut accomplir une action de routine à tout moment, en chemin, dans une file d'attente, entre deux réunions ou quand il n'y a tout simplement pas d'ordinateur portable sous la main.

Techniquement, l'agent s'appuie sur l'API d'accessibilité d'Android. Elle lui permet de voir la structure de l'écran via l'arborescence de l'interface, de repérer les éléments de commande et de reproduire les actions de l'utilisateur : appuis, défilement, passage d'une application à l'autre et autres étapes de base. Mais les développeurs soulignent que les seules captures d'écran ne suffisent pas pour cette tâche.

Les modèles n'interprètent pas toujours de façon stable les images d'interface, traitent différemment la qualité de l'image et peuvent se tromper sur les petits éléments. Sova AI a donc opté pour une approche hybride : les données de l'arborescence de l'écran sont combinées au contexte visuel pour gagner en précision sans faire gonfler la consommation de tokens à chaque opération.

Le volet économique compte autant pour le produit que la magie de l'automatisation. Si un agent mobile doit enchaîner de nombreuses étapes dans les applications, le coût de chaque scénario devient vite critique. Les créateurs de Sova AI disent clairement avoir voulu éviter que l'utilisateur dépense trop de ressources pour une action banale comme commander à manger ou accomplir une courte tâche domestique.

D'où l'accent mis sur l'association de données structurées et d'image, plutôt que sur une approche purement vision. De plus, l'agent peut être défini comme assistant par défaut, pour être lancé à la voix et transformer aussitôt la commande en action, et non en une nouvelle réponse du type « je ne peux pas interagir avec les applications ».

Un point mérite l'attention : Sova AI propose une définition plus stricte du mot « assistant ». Ces deux dernières années, le marché s'est rempli de services qui résument, cherchent, suggèrent et dialoguent bien, mais s'arrêtent à la frontière de l'action réelle. Sova AI tente de repousser cette frontière et de faire du smartphone une plateforme pour une interface agentique, où l'IA n'explique pas seulement ce qu'il faut faire, mais exécute elle-même la séquence d'étapes nécessaire. Pour l'instant, le projet est disponible sur Android et une version iOS est en développement, ce qui se comprend : Android offre aujourd'hui plus de latitude pour ce type d'intégration.

La conclusion est simple : Sova AI montre où pourrait aller la prochaine vague de produits d'IA grand public, des assistants conversationnels vers des agents exécutants. Si cette approche s'avère assez fiable, rapide et peu coûteuse, le mobile-use a une chance de devenir un segment de masse à part entière, et non une démonstration pour développeurs. Mais avec la commodité, les exigences de précision, de confidentialité et de contrôle des autorisations vont inévitablement croître. Pour l'utilisateur, ce n'est plus seulement un chat, mais un logiciel qui accède à l'interface du téléphone et agit en son nom.