Un développeur publie un overlay où des agents IA dessinent des flèches et des cadres à l'écran

Le développeur franzenzenhofer a publié sur GitHub le projet big-arrow-on-the-screen. Cet outil permet à un agent IA de dessiner par-dessus l'écran de l'utilisateur une grande flèche, un cadre ou une légende textuelle. Le post sur Hacker News a recueilli 233 points et 93 commentaires : le sujet a manifestement touché un point sensible, car il manque aux agents un moyen simple de montrer plutôt que d'expliquer.

Quel problème l'overlay résout-il

Aujourd'hui, la plupart des assistants IA communiquent avec l'utilisateur par du texte. « Ouvrez les paramètres en haut à droite, trouvez le troisième élément de la liste » : c'est une phrase que l'utilisateur doit traduire lui-même en actions. Si l'interface est inconnue et que les noms des boutons diffèrent de ceux dont le modèle se souvient, l'erreur est presque assurée.

La flèche à l'écran supprime cette traduction. L'agent repère l'endroit voulu et le marque visuellement, et l'humain voit tout de suite où regarder. L'idée est simple et, à en juger par la réaction de Hacker News, c'est précisément ce qui a fait mouche. Le dépôt annonce justement cette fonction : de grandes flèches, des cadres et du texte pilotés par l'agent.

Un mode entre la suggestion et l'autonomie

Les agents qui pilotent eux-mêmes l'ordinateur cliquent, saisissent du texte et ouvrent des onglets. Mais toutes les tâches ne demandent pas une autonomie complète, et tous les utilisateurs ne sont pas prêts à la céder. L'overlay offre une troisième voie : l'agent montre, l'humain agit.

Les scénarios pratiques sont évidents :

• apprentissage d'un nouveau logiciel et onboarding des employés ;
• assistance à distance, où l'assistant explique les étapes directement à l'écran ;
• confirmation des intentions : l'agent met en évidence le bouton sur lequel il s'apprête à cliquer et attend un accord ;
• analyse d'interface lors d'une revue ou de tests, lorsqu'il faut pointer un bug précis.

Le dernier point est particulièrement intéressant. Le marquage visuel avant l'action fait office de mécanisme de contrôle peu coûteux : l'utilisateur voit l'intention de l'agent avant qu'elle ne devienne un clic.

Les risques évoqués autour de ces outils

Un programme qui dessine par-dessus toutes les fenêtres exige certains droits dans le système, et élargit donc la surface d'attaque. Si l'agent est vulnérable à la prompt injection, un attaquant pourrait en théorie le pousser à pointer une flèche vers « Confirmer le paiement » ou « Autoriser l'accès ». Un utilisateur habitué à se fier aux indications cliquera. Il s'agit d'un raisonnement, et non d'un scénario décrit dans le dépôt, mais la question se pose de la même façon pour tout overlay d'agent.

Autre sujet : la précision. Une flèche qui pointe deux centimètres à gauche du bon bouton est pire qu'une description textuelle. Le texte de la actualité ne permet pas de savoir dans quelle mesure le projet détermine les coordonnées de façon fiable selon les résolutions et les écrans.

Ce que l'on sait à ce stade

• Projet : big-arrow-on-the-screen, auteur franzenzenhofer, publication sur GitHub.
• Fonctions : flèches, cadres et texte affichés par-dessus l'écran, pilotés par un agent IA.
• Réaction : 233 points et 93 commentaires sur Hacker News.
• Date d'apparition dans le fil : 9 octobre 2026.
• Non précisé dans la source : la licence, les OS pris en charge, le mode d'intégration avec des agents et des modèles précis.

Comment aborder le projet concrètement

Si vous développez un agent ayant accès à l'écran, il vaut la peine d'ouvrir le dépôt et de vérifier trois points : comment l'overlay reçoit ses commandes (protocole ou API), quelles autorisations système sont nécessaires, et s'il est possible de restreindre les éléments que l'agent a le droit de mettre en évidence. Pour des outils internes de support et de formation, c'est probablement le moyen le plus rapide d'ajouter un retour visuel sans recourir à un computer use complet.

Et lisez les 93 commentaires sur Hacker News. Dans les discussions sur ce type de projet, les limites réelles remontent généralement, des configurations multi-écrans aux conflits avec les applications en plein écran. Pour l'instant, c'est une petite idée à l'usage clair, et c'est une vérification de ce type qui déterminera sa maturité.