DeepMind crea un ratón con IA basado en Gemini para que los usuarios no tengan que saltar a un chat

Google DeepMind ha presentado un prototipo experimental de ratón con IA basado en Gemini que captura el contexto visual y semántico alrededor del cursor. Así, los usuarios pueden realizar tareas con lenguaje natural y clics dirigidos, sin distraerse con ventanas de IA independientes.

Cómo ve el ratón con IA

El ratón usa la visión por computador de Gemini para analizar lo que hay bajo el cursor: texto, imágenes, botones y elementos de la interfaz. Pero no se trata de un simple reconocimiento de imágenes. El sistema entiende no solo el contenido visual (lo que se ve), sino también el contexto semántico (lo que significa en el contexto de lo que ocurre).

DeepMind ha publicado demostraciones experimentales de este enfoque y ha descrito cuatro principios clave de interacción que sustentan el diseño de esta herramienta. Estos principios buscan que el ratón con IA sea realmente útil y no solo un juguete experimental.

Por qué este enfoque es mejor

El flujo habitual de trabajo con IA obliga a cambiar de contexto. Si necesitas ayuda, abres una ventana aparte con un chatbot, describes la tarea, copias el resultado y lo pegas de vuelta. Eso interrumpe el trabajo y exige explicaciones adicionales.

El ratón con IA resuelve el problema de raíz: el usuario simplemente habla, señala con el ratón el lugar que le interesa o hace un clic dirigido, y el sistema entiende el contexto y ayuda directamente dentro de la aplicación en uso. Es como si un asistente de IA con experiencia estuviera sentado a tu lado, viera toda la pantalla y pudiera actuar sin llamar la atención.

Otra ventaja es que apenas hay curva de aprendizaje. No hay que aprender una interfaz nueva ni memorizar comandos. El comportamiento del ratón es intuitivo: señalas y hablas, y obtienes el resultado.

Qué puede hacer el ratón

Los investigadores mostraron el ratón con IA aplicado a distintas tareas:

• Rellenar formularios web mediante comandos de voz
• Buscar y extraer información del contenido visible en pantalla
• Automatizar la navegación por sitios web y aplicaciones
• Trabajar con hojas de cálculo, estructurar y analizar datos
• Reformular texto, copiar con cambio de formato
• Comprobar información y lógica en documentos

Cada uno de estos escenarios se probó en un vídeo de demostración. El ratón no requiere cambiar de ventana, de modo que el usuario se mantiene concentrado en la tarea.

Qué significa

La frontera entre los agentes de IA de navegador (que ejecutan tareas por completo por su cuenta) y los asistentes de IA (que ayudan a la persona) se difumina. Google DeepMind muestra que en el futuro la IA podría integrarse aún más a fondo, no en una aplicación independiente, sino directamente en las herramientas que la gente usa a diario.

Se trata de una investigación temprana y el prototipo tiene limitaciones. Pero si la tecnología madura y se integra en sistemas operativos o navegadores, podría cambiar de forma notable cómo interactúan las personas con los ordenadores y con la IA al mismo tiempo.

«Sin cambiar de contexto, la IA no solo resulta más útil, sino también

más natural».

Este enfoque podría ser el siguiente paso en la evolución de las interfaces de usuario, en las que la IA no compite por la atención, sino que ayuda sin hacerse notar.