Google apprend à Circle to Search à reconnaître plusieurs objets dans une même image

Quand Google a présenté Circle to Search début 2024, l'idée paraissait trompeusement simple : entourez n'importe quoi sur l'écran de votre smartphone et obtenez instantanément des résultats de recherche. Deux ans plus tard, l'entreprise continue de développer le concept, et la dernière mise à jour rend la fonction nettement plus intelligente : elle peut désormais analyser plusieurs objets d'une même image à la fois, sans que l'utilisateur ait à entourer chaque élément séparément.

Pour mesurer l'importance de cette évolution, il faut rappeler comment la recherche visuelle fonctionnait jusqu'ici. Le modèle classique était séquentiel : vous voyez un objet intéressant, vous l'entourez, vous obtenez un résultat. Si, sur une photo Instagram, la veste du mannequin, ses baskets et le sac à l'arrière-plan vous intéressaient, il fallait répéter l'opération trois fois. Cela créait une friction réelle, surtout quand l'utilisateur parcourt du contenu d'inspiration et veut identifier rapidement tout ce qui a retenu son attention. Le nouveau Circle to Search s'attaque au problème à la racine : le système reconnaît lui-même tous les objets significatifs du cadre et propose des informations sur chacun.

Sur le plan technique, on y voit l'évolution des modèles multimodaux de Google. L'entreprise ne dévoile pas les détails de l'architecture, mais la logique est claire : au lieu de traiter un seul fragment sélectionné de l'image, le système segmente désormais toute la scène, identifie les objets individuels, les classe et lance une requête de recherche pour chacun. Cela exige nettement plus de ressources de calcul, mais Google a manifestement optimisé le processus pour qu'il reste rapide sur les appareils des utilisateurs. Une partie du traitement se fait probablement côté serveur, une autre en local, grâce aux processeurs neuronaux des puces actuelles.

Le cas d'usage le plus évident, c'est le shopping. Google transforme en pratique n'importe quelle photo en vitrine. Vous repérez sur Pinterest une pièce joliment décorée ? Circle to Search indique où acheter chaque meuble. Vous tombez sur une photo de look urbain ? Vous obtenez des liens vers des vêtements, des chaussures et des accessoires similaires. Ce n'est pas qu'une commodité : c'est une monétisation directe du contenu visuel via l'écosystème publicitaire de Google Shopping. L'entreprise crée le chemin le plus court entre l'inspiration et l'achat, et chacun de ces passages peut générer des revenus publicitaires.

Pour le secteur du e-commerce, les conséquences sont sérieuses. Des plateformes comme Pinterest et Instagram ont passé des années à construire leurs propres outils de shopping visuel, avec des balises produit et des liens d'affiliation. Google propose une solution universelle, qui fonctionne par-dessus n'importe quelle application, au niveau du système d'exploitation. Cela sape le monopole des plateformes sociales sur le commerce visuel et ramène l'attention des acheteurs vers l'écosystème de recherche de Google. Pour les marques, cela signifie que le contenu visuel de qualité compte encore plus : si votre produit est beau en photo, Google le trouvera de lui-même et le proposera aux acheteurs.

Le contexte est aussi plus large. Circle to Search s'inscrit dans la stratégie de Google pour repenser la recherche à l'ère de l'IA générative. L'entreprise sait que la barre de recherche textuelle n'est plus l'unique interface. Les gens veulent de plus en plus interagir avec l'information de façon naturelle : en pointant des objets, en posant des questions à la voix, en combinant les modalités. Chaque mise à jour de Circle to Search nous rapproche d'un monde où la recherche devient invisible, intégrée à l'interaction même avec l'écran.

Reste pourtant la question de la vie privée. Quand un système analyse tout le contenu de l'écran et envoie des données aux serveurs pour traitement, le volume d'informations collectées sur les préférences de l'utilisateur croît de façon exponentielle. Google ne sait pas seulement ce que vous avez cherché, mais ce qui a retenu votre attention sur chaque image que vous parcourez. C'est un filon pour la publicité ciblée et, en même temps, un motif d'inquiétude pour les régulateurs.

La mise à jour de Circle to Search ressemble à une petite avancée incrémentale, mais elle reflète en réalité un changement fondamental dans notre façon d'interagir avec l'information visuelle. Google bâtit méthodiquement un pont entre la vue et l'action, entre ce que nous voyons et ce que nous pouvons en faire. Et à chaque mise à jour, ce pont raccourcit.

*Meta a été reconnue organisation extrémiste et est interdite en Russie.