Google Gemini : votre smartphone appartient désormais officiellement au réseau de neurones

Vous souvenez-vous du moment où vous demandiez à Google Assistant de lancer un minuteur, et où il ouvrait à la place une recherche sur la phrase « lance un minuteur » ? Il semble que l'ère de cette charmante impuissance touche à sa fin. Pendant que nous débattions de la capacité de ChatGPT à réfléchir au sens de la vie, Google travaillait en coulisses sur quelque chose de bien plus terre à terre et, en même temps, inquiétant. Il s'agit de Project Astra, dont des traces ont été découvertes récemment dans le code de mises à jour récentes de Google. En bref : votre smartphone cesse d'être un simple ensemble d'icônes et devient l'organe d'exécution de Gemini.

Rappelons le contexte. Lors de la dernière conférence I/O, on nous a montré une démo où une IA voyait le monde par la caméra de lunettes, reconnaissait du code sur un tableau et se souvenait de l'endroit où l'utilisateur avait laissé ses lunettes. On aurait dit de la magie, mais la question principale restait hors champ : cet outil pourra-t-il appuyer seul sur « acheter » ou « réserver » ?

Les dernières découvertes dans le code confirment que Google prévoit de donner à Gemini des droits d'administrateur sur votre interface utilisateur. C'est une étape logique dans l'évolution des LLM (grands modèles de langage) vers les LAM (modèles d'action). Pendant des années, nous avons appris aux réseaux de neurones à parler ; il est temps de leur apprendre à travailler.

Pourquoi maintenant ? Google est en position de rattrapage sur l'intelligence « pure » des modèles, mais l'entreprise détient un atout que ni OpenAI ni Anthropic n'ont : Android. Avec un accès profond aux API système, Google peut laisser Gemini voir ce qui se passe à l'écran dans n'importe quelle application et simuler des pressions sur les touches. Alors qu'Apple ne fait que promettre quelque chose de similaire avec son Intelligence, Google pose déjà les fondations pour que votre téléphone puisse planifier seul votre soirée : de la réservation d'une table au restaurant à la commande d'un taxi à l'heure voulue, sans que vous ayez à feuilleter le menu.

Techniquement, cela passe par l'analyse du flux visuel. Gemini ne se contente pas de lire du texte ; elle comprend la hiérarchie des éléments de l'interface. Elle sait que ce petit panier dans le coin mène au paiement et que cette petite croix ferme une publicité. Cela décharge considérablement l'utilisateur, mais ouvre aussi une boîte de Pandore côté sécurité. Imaginez un agent IA qui, par erreur ou à cause d'une hallucination, valide un virement ou supprime une conversation professionnelle importante. C'est précisément pourquoi Google déploie ces fonctions avec prudence, en les cachant derrière des couches de code, tant que le système n'est pas assez fiable.

L'industrie se trouve au seuil d'une « révolution des agents ». Nous avons déjà vu des tentatives de créer des appareils dédiés, comme le Rabbit R1 ou le Humane Pin, mais elles ont échoué précisément parce qu'elles cherchaient à remplacer le smartphone. Google joue plus finement : il transforme la brique déjà présente dans votre poche en assistant autonome. Cela change le paradigme même d'usage de l'appareil. Le smartphone cesse d'être un objet que l'on fixe pendant des heures et devient un processeur d'arrière-plan qui exécute vos consignes. Si cela fonctionne, la notion même d'« application » pourrait appartenir au passé : pourquoi ouvrir l'interface d'Uber si Gemini fait tout via une API ou une capture graphique ?

Au fond, c'est une bataille pour notre temps. Google sait que s'il ne fait pas de Gemini un opérateur à part entière d'Android, quelqu'un d'autre le fera à coups de bidouillages et de surcouches. Nous voyons aujourd'hui les premiers pas timides d'un système qui connaîtra bientôt la structure de vos applications mieux que vous. Il ne reste qu'à espérer que Gemini ne décidera pas que votre présence dans le choix de la pizza est, elle aussi, un bruit superflu à optimiser.

L'essentiel : Gemini deviendra-t-il un véritable « pilote automatique » pour Android dès cette année, ou faut-il s'attendre à une nouvelle série de bêtas interminables ?