Un desarrollador publica un overlay donde los agentes de IA dibujan flechas y recuadros en la pantalla

El desarrollador franzenzenhofer ha publicado en GitHub el proyecto big-arrow-on-the-screen. Es una herramienta con la que un agente de IA puede dibujar sobre la pantalla del usuario una flecha grande, un recuadro o una etiqueta de texto. El post en Hacker News alcanzó 233 puntos y 93 comentarios, así que el tema ha tocado claramente un nervio: a los agentes les falta una forma sencilla de mostrar en lugar de explicar.

Qué problema resuelve el overlay

Hoy la mayoría de los asistentes de IA se comunica con el usuario por texto. «Abra los ajustes en la esquina superior derecha y busque el tercer elemento de la lista» es una frase que la persona tiene que traducir por su cuenta en acciones. Si la interfaz es desconocida y los nombres de los botones difieren de los que recuerda el modelo, el error es casi seguro.

La flecha en pantalla elimina esa traducción. El agente identifica el lugar adecuado y lo marca visualmente, y la persona ve de inmediato adónde mirar. La idea es simple y, a juzgar por la reacción de Hacker News, por eso mismo ha calado. El repositorio declara precisamente esta función: flechas grandes, recuadros y texto controlados por el agente.

Un modo a medio camino entre la sugerencia y la autonomía

Los agentes que controlan el ordenador por sí mismos hacen clic, escriben y abren pestañas. Pero no toda tarea requiere autonomía total, ni todo usuario está dispuesto a concederla. El overlay ofrece una tercera opción: el agente muestra y la persona actúa.

Los escenarios prácticos son evidentes:

• formación en el uso de software nuevo e incorporación (onboarding) de empleados;
• soporte remoto, cuando el asistente explica los pasos directamente en la pantalla;
• confirmación de intenciones: el agente resalta el botón que va a pulsar y espera el visto bueno;
• análisis de interfaces en revisiones y pruebas, cuando hay que señalar un bug concreto.

El último punto es especialmente interesante. Una marca visual antes de la acción funciona como un mecanismo de control barato: el usuario ve la intención del agente antes de que se convierta en un clic.

Los riesgos que se discuten en torno a estas herramientas

Un programa que dibuja sobre todas las ventanas requiere ciertos permisos en el sistema y, por tanto, amplía la superficie de ataque. Si el agente es vulnerable a prompt injection, un atacante podría, en teoría, hacer que señale con una flecha «Confirmar pago» o «Permitir acceso». Un usuario acostumbrado a fiarse de las indicaciones pulsará. Este es un razonamiento, no un escenario descrito en el repositorio, pero para cualquier overlay de agentes la pregunta es la misma.

Otro asunto es la precisión. Una flecha que apunta dos centímetros a la izquierda del botón correcto es peor que una descripción de texto. Qué tan fiable es el proyecto al determinar coordenadas con distintas resoluciones y monitores no puede deducirse del material de la noticia.

Qué se sabe hasta ahora

• Proyecto: big-arrow-on-the-screen, autor franzenzenhofer, publicación en GitHub.
• Funciones: flechas, recuadros y texto sobre la pantalla, controlados por un agente de IA.
• Reacción: 233 puntos y 93 comentarios en Hacker News.
• Fecha de aparición en el feed: 9 de octubre de 2026.
• No se indica en la fuente: licencia, sistemas operativos compatibles, método de integración con agentes y modelos concretos.

Cómo abordar el proyecto en la práctica

Si está construyendo un agente con acceso a la pantalla, conviene abrir el repositorio y comprobar tres cosas: cómo recibe el overlay los comandos (protocolo o API), qué permisos del sistema necesita y si se puede limitar qué elementos concretos tiene permitido resaltar el agente. Para herramientas internas de soporte y formación, probablemente sea la forma más rápida de añadir retroalimentación visual sin recurrir a un computer use completo.

Y lea los 93 comentarios de Hacker News. En las discusiones sobre este tipo de proyectos suelen aflorar las limitaciones reales: desde configuraciones multimonitor hasta conflictos con aplicaciones a pantalla completa. Por ahora es una idea pequeña con una aplicación clara, y su madurez la determinará precisamente esa verificación.