DIYgod lance Pinky : un pont open source pour qu'un agent IA pilote iPhone et Android

Les agents ont appris à coder, à naviguer sur des sites et à manipuler des fichiers. Mais dès qu'une tâche dépend du téléphone, tout se grippe : messages dans une messagerie, commande dans une application de livraison, paiement dans une application bancaire. Beaucoup de ces services n'existent pas sur le web, et un agent de navigateur classique ne peut pas les atteindre. Le développeur chinois DIYgod a publié le projet Pinky, qui tente de combler ce vide.

De quoi s'agit-il

Selon la description de son auteur, Pinky permet à n'importe quel agent IA d'utiliser votre iPhone ou votre Android. L'outil lui-même s'exécute sur Mac, Windows et Linux : le téléphone est donc relié à l'ordinateur, et l'agent travaille par son intermédiaire. Le projet est gratuit et open source. Il s'agit d'une application native, et non d'une lourde surcouche : le paquet d'installation pèse une dizaine de mégaoctets environ.

La formule importante ici est « n'importe quel agent ». Pinky n'est pas conçue comme un assistant autonome de plus, mais comme une couche entre l'agent et l'appareil. Vous choisissez le modèle ou le framework que vous préférez, et Pinky lui donne les mains nécessaires pour utiliser le téléphone. L'auteur ne détaille pas, dans son message, les protocoles de connexion ni la liste des agents pris en charge : il faut consulter le dépôt.

Pourquoi miser sur le contrôle

Confier un téléphone à un agent est plus risqué que lui confier un navigateur : on y trouve de l'argent, des conversations, des données personnelles. C'est pourquoi la moitié de l'annonce est consacrée aux freins. Avant un paiement, Pinky s'arrête et attend votre confirmation. Les mêmes confirmations peuvent être activées pour l'envoi de messages et pour la suppression. C'est le schéma classique du human-in-the-loop, appliqué uniquement aux actions réellement dangereuses plutôt qu'à tout indistinctement.

Le deuxième mécanisme est la possibilité de reprendre la main à tout moment. Si l'agent part dans la mauvaise direction, vous reprenez simplement le téléphone. Le troisième est l'enregistrement de l'écran à chaque étape. C'est utile pour le débogage : vous ne voyez pas un journal abstrait, mais ce que l'agent a réellement touché. Et si quelque chose tourne mal, vous avez la preuve de l'endroit exact.

Limites et questions

Pour l'instant, il s'agit d'une annonce, pas d'un test. On ignore avec quelle stabilité l'agent gère des applications complexes, comment le projet se comporte face aux protections des applications bancaires et quelles restrictions impose iOS. On ne sait pas non plus comment les autorisations sont organisées ni où la vidéo est stockée, une question importante pour un enregistrement d'écran contenant des données personnelles. La portée du message (environ 72 000 vues) témoigne d'un intérêt, mais pas de la maturité du produit.

Un risque distinct tient aux injections de prompt. Si l'agent lit à l'écran les messages d'autrui, ceux-ci peuvent contenir des instructions. La confirmation avant paiement atténue les conséquences, mais ne règle pas le problème pour les actions que vous n'avez pas soumises à confirmation.

Que faire de tout cela

Les développeurs d'agents gagneront à parcourir le dépôt pour voir comment sont conçues les confirmations et l'enregistrement : ces techniques serviront aussi dans d'autres projets. Les product managers peuvent retenir le modèle « pause sur les actions irréversibles plus audit vidéo » comme standard de confiance de base. Mieux vaut tester sur un appareil dédié ou un compte de secours, et activer les confirmations pour tout ce qui touche à l'argent, aux conversations et à la suppression. Si Pinky s'avère stable, les agents open source disposeront enfin de la couche mobile qui leur manquait, sans dépendre d'un seul éditeur.