OpenAI intègre la technologie de Sky à Codex pour Mac et renforce le contrôle des applications en arrière-plan

OpenAI a transformé Codex pour Mac, jusque-là outil d'écriture de code, en véritable opérateur de bureau : l'agent peut désormais piloter des applications en arrière-plan, passer d'une fenêtre à l'autre et exécuter des actions routinières sans les ramener au premier plan et sans exiger l'intervention constante de l'utilisateur. La mise à jour clé repose sur la technologie de Sky, une startup macOS qu'OpenAI a officiellement rachetée avec son équipe de développeurs. Côté produit, cela ne ressemble plus à une expérience annexe.

Codex dispose d'un mode intégré de contrôle de l'ordinateur qui permet à l'agent de voir où il clique, de saisir du texte, d'ouvrir des applications et de travailler dans plusieurs fenêtres à la fois. Point important : tout se déroule en arrière-plan, et l'utilisateur peut continuer à travailler pendant que l'agent traite des tâches dans d'autres programmes en parallèle. Pour l'environnement Mac, où de nombreux processus restent mal automatisés, c'est un changement notable.

Sur le plan technique, la nouvelle approche est intéressante parce que Codex ne se limite pas à l'enregistrement de l'écran et à la simulation de clics sur une image. Le système utilise plutôt les mécanismes d'accessibilité universelle de macOS, qui permettent de lire la hiérarchie des éléments de l'interface : boutons, champs de saisie, listes, onglets et autres objets d'une fenêtre. Pour un modèle de langage, c'est bien plus riche qu'une simple capture d'écran : il reçoit non seulement une image, mais une description structurée de l'interface et peut mieux comprendre ce qu'il a sous les yeux.

Résultat, l'agent choisit plus facilement la bonne action et dépend moins de scénarios fragiles fondés sur des coordonnées de curseur ou des scripts de contournement.

C'est pourquoi la nouvelle version de Codex paraît plus solide que beaucoup de solutions concurrentes. La plupart des systèmes de contrôle d'ordinateur reposent encore aujourd'hui sur une combinaison de captures d'écran, d'OCR et d'automatisation de base par commandes système. Cette approche fonctionne tant que l'interface est prévisible, mais elle casse vite dans des applications réelles. D'après les premiers tests, Codex se débrouille mieux dans les tâches qui demandent de s'orienter dans des fenêtres complexes, de faire défiler de longs fils, d'ouvrir des éléments imbriqués et d'enchaîner des séquences d'actions. Les curseurs parallèles constituent un atout à part : plusieurs agents peuvent travailler simultanément sur un même Mac sans se gêner et sans s'arracher le focus.

L'intérêt pratique de la mise à jour apparaît bien dans des scénarios du quotidien. Codex peut ouvrir une application de musique et lancer l'album voulu, même si la commande n'est pas formulée parfaitement. Il peut parcourir plusieurs programmes de travail, par exemple une messagerie, un client RSS et un lecteur, puis en tirer un court résumé. Il peut installer des fichiers, les ouvrir, vérifier le résultat et poursuivre le débogage sans basculer manuellement entre les fenêtres. Un humain fait souvent cela plus vite, mais l'essentiel n'est pas là : l'agent prend en charge la routine qui peut s'exécuter en arrière-plan, surtout quand il n'y a ni API, ni commandes console, ni prise en charge complète d'AppleScript.

Pour OpenAI, c'est aussi un pas stratégique. Codex ressemble de moins en moins à un assistant de code ordinaire et de plus en plus à un centre de contrôle d'agents. L'entreprise a d'abord lancé l'application Codex pour macOS le 2 février 2026, puis ajouté le 16 avril une importante mise à jour avec contrôle de l'ordinateur en arrière-plan, mémoire, automatisations et nouveaux plugins. Selon OpenAI, le service compte déjà plus de 3 millions de développeurs par semaine, et l'entreprise cherche clairement à étendre les usages au-delà de l'IDE : de l'écriture de code au test d'interfaces, au travail sur des documents, dans le navigateur et avec des applications de bureau.

Le principal enseignement est simple : OpenAI ne parie pas seulement sur des modèles plus puissants, mais aussi sur un contrôle plus profond de l'environnement de l'utilisateur. Si Codex conserve réellement sa précision et sa vitesse actuelles, le marché des agents IA pourrait vite passer de la fenêtre de chat à des assistants d'arrière-plan capables de travailler dans de vrais programmes aussi sûrement qu'ils le font aujourd'hui avec le texte et le code.