Tencent apprend à Hy4 à piloter un ordinateur via deux interfaces : GUI et CLI

Corriger du code, ouvrir une page et vérifier qu’un bouton fonctionne réellement : voilà une tâche courante pour un développeur. Pour une IA, cet enchaînement mobilise plusieurs capacités à la fois : comprendre le code, voir l’interface et utiliser des outils. Tencent a présenté Hy4, qui, selon l’entreprise, sait comprendre les images et interagir avec un ordinateur via une interface graphique et une ligne de commande. L’intérêt pratique est de vérifier combien d’étapes d’un même processus de travail peuvent être confiées à un seul agent.

Le lancement a eu lieu le 4 novembre. Tencent a également annoncé que le modèle était accessible via sa plateforme cloud TokenHub. Les capacités de pilotage d’un ordinateur, l’entraînement aux applications professionnelles et les projets de publication des poids sont détaillés dans l’annonce officielle de Tencent. Il s’agit des déclarations du concepteur : elles justifient des essais, mais ne démontrent pas à elles seules la fiabilité du modèle sur vos tâches.

Ce qu’apportent les deux modes de pilotage

Une interface graphique se compose de fenêtres, de boutons, de menus et de champs de saisie. La ligne de commande permet de lancer des programmes, de traiter des fichiers et de récupérer les résultats des commandes exécutées. Dans la pratique, les deux modes sont nécessaires : certaines actions se prêtent bien à un script, tandis que leur résultat doit être vérifié visuellement dans l’application.

Prenons un scénario hypothétique : après avoir corrigé un formulaire d’inscription, il faut s’assurer que le bug a disparu. L’agent pourrait lancer le projet depuis le terminal, ouvrir la page, remplir les champs et vérifier le message affiché à l’écran. Si le formulaire échoue à nouveau, il lui faudra consulter les journaux et modifier une nouvelle fois le code. Il s’agit d’un exemple de tâche permettant de tester Hy4, et non d’une démonstration confirmée de son fonctionnement.

Le modèle seul ne suffit toutefois pas. Il faut un programme qui lui transmette les images de l’écran, exécute les actions choisies et lui renvoie le résultat. Les outils disponibles, les autorisations et la gestion des erreurs dépendent de ce programme. L’existence d’une API ne signifie donc pas que, dès la première requête, vous disposerez d’un agent prêt à accomplir des tâches sur ordinateur.

Ce que l’on sait et ce qui manque encore

Tencent affirme que Hy4 a été spécialement entraîné à utiliser Blender et des logiciels de CAO. Pour les équipes qui automatisent des logiciels professionnels, cela justifie d’inclure le modèle dans la comparaison des solutions candidates. Mais mentionner une application dans l’entraînement ne répond pas aux questions concernant une version précise, les projets complexes ou la reprise après une action ratée.

Dans son annonce du 4 novembre, l’entreprise a promis de publier les poids et les fiches du modèle dans les jours suivants. Cette formulation ne permet pas de conclure que les fichiers sont déjà publiés au moment où vous lisez cette actualité. Avant de déployer le modèle sur votre propre infrastructure, il faut vérifier séparément la disponibilité des poids, les conditions de licence et les exigences matérielles. L’accès dans le cloud et la possibilité d’héberger le modèle soi-même correspondent à des choix distincts pour un produit.

Il manque également une évaluation comparative portant précisément sur votre processus de travail. La capacité annoncée à cliquer sur des boutons ne dit rien du nombre de tentatives nécessaires pour terminer une tâche. Pour une entreprise, les éléments déterminants sont la réussite de la tâche, le temps passé, le coût des nouvelles tentatives et le nombre d’interventions humaines. Sans ces données, il est encore trop tôt pour intégrer des économies dans les calculs.

Comment évaluer l’intérêt pour votre équipe

Je commencerais par une seule tâche récurrente dont le résultat est vérifiable. Par exemple, l’agent reçoit un projet de test, corrige un bug connu à l’avance et présente un formulaire fonctionnel. Les conditions doivent être identiques pour Hy4 et pour le modèle déjà utilisé par l’équipe : mêmes fichiers, mêmes outils, même limite de temps et mêmes critères de réussite.

Il convient d’enregistrer l’intégralité de la tentative, y compris les actions superflues et les indications fournies par un humain. Une capture d’écran finale réussie peut masquer plusieurs redémarrages et corrections manuelles. Cette différence compte pour un produit : l’utilisateur a besoin d’un résultat prévisible, et l’équipe doit savoir clairement combien coûte son obtention.

Il est raisonnable d’effectuer le premier essai dans un environnement de test distinct, avec des droits limités. Cela permet d’observer sereinement la réaction de l’agent face à une fenêtre inattendue, une commande incorrecte ou un fichier inaccessible. Si Hy4 termine régulièrement l’enchaînement choisi et nécessite moins d’interventions, il devient pertinent d’élargir le pilote. C’est précisément ce qu’il faut déterminer après ce lancement : quelles tâches concrètes le modèle retire réellement à l’équipe.