Sova AI a lancé un assistant Android qui contrôle le téléphone sans PC ni root

Sova AI tente d'occuper un créneau que les grands acteurs n'ont pas encore correctement abordé : créer un assistant IA qui ne répond pas seulement aux demandes, mais qui fonctionne réellement dans les applications Android directement sur le smartphone. Le projet est présenté comme le premier agent mobile de ce type qui ne nécessite ni ADB, ni connexion USB, ni root, ni liaison avec un PC. L'utilisateur installe une application ordinaire, la désigne optionnellement comme assistant système et peut émettre des commandes vocales ou textuelles, après quoi l'agent ouvre lui-même les services nécessaires, clique sur les boutons, fait défiler les écrans et exécute les étapes comme le ferait un humain.

Le principal pari de Sova AI ne repose pas sur une énième interface de chat, mais sur l'idée d'une présence constante dans un appareil mobile. Il existe déjà des solutions dans la catégorie mobile-use sur le marché, mais beaucoup d'entre elles exigent toujours de connecter le téléphone à un ordinateur, un débogage par câble ou d'autres contournements techniques. Pour un utilisateur ordinaire, c'est peu pratique : si un PC est déjà disponible à proximité, il est plus logique de confier la tâche à un computer-use ou browser-use classique.

Les auteurs du projet partent d'un scénario différent : le téléphone doit rester un environnement indépendant où un assistant peut accomplir des actions routinières à tout moment—en chemin, dans une file d'attente, entre les réunions, ou dans une situation où un ordinateur portable n'est simplement pas à portée de main. Techniquement, l'agent s'appuie sur l'API d'Accessibilité Android. Cela lui permet de voir la structure de l'écran via l'arborescence d'interface, de trouver des contrôles et de reproduire les actions de l'utilisateur : clics, défilement, navigation entre applications et autres étapes basiques.

Cependant, les développeurs soulignent spécifiquement que les seules captures d'écran ne suffisent pas pour cette tâche. Les modèles n'interprètent pas toujours de manière stable les images d'interface, traitent la qualité d'image différemment et peuvent commettre des erreurs sur les petits éléments. Par conséquent, chez Sova AI, ils ont créé une approche hybride : les données de l'arborescence d'écran sont combinées avec le contexte visuel pour augmenter la précision tout en ne gonflant pas simultanément la consommation de tokens par opération.

Cet aspect économique est tout aussi important pour le produit que la magie de l'automatisation elle-même. Si un agent mobile doit être capable d'exécuter de nombreuses étapes dans des applications, le coût de chaque scénario devient rapidement critique. Les créateurs de Sova AI déclarent directement qu'ils ont essayé d'éviter une situation où l'utilisateur dépense trop de ressources sur une action triviale comme commander un repas ou accomplir une brève tâche quotidienne.

D'où l'accent mis sur la combinaison de données structurelles avec des images plutôt que sur une approche purement visuelle. De plus, l'agent peut être désigné comme assistant par défaut pour le lancer par la voix et traduire immédiatement la commande en action plutôt qu'en une énième réponse du style « je ne peux pas interagir avec les applications ». Il y a un intérêt particulier ici au fait que Sova AI offre une définition plus stricte du mot « assistant ».

Au cours des deux dernières années, le marché a été rempli de services qui font du bon travail en résumant, en recherchant, en conseillant et en soutenant le dialogue, mais s'arrêtent à la limite de l'action réelle. Sova AI essaie de déplacer cette limite et de transformer le smartphone en une plateforme pour une interface agentic, où l'IA n'explique pas seulement ce qui doit être fait, mais exécute elle-même la séquence nécessaire d'étapes. Pour l'instant, le projet est disponible sur Android, avec une version iOS en développement, ce qui a du sens : Android offre aujourd'hui plus d'espace pour une telle intégration.

La conclusion est simple : Sova AI démontre vers où la prochaine vague de produits IA pour les consommateurs peut se diriger—des assistants conversationnels vers des agents d'exécution. Si une telle approche s'avère suffisamment fiable, rapide et abordable, le mobile-use aura une chance de devenir un segment distinct du marché de masse plutôt qu'une démonstration pour les développeurs. Mais avec la commodité viendront inévitablement des exigences accrues en matière de précision, de confidentialité et de contrôle des autorisations.

Pour l'utilisateur, ce n'est plus simplement un chat, mais un logiciel qui accède à l'interface du téléphone et agit en son nom.