Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoCódigo / SDK · Listo para usarHabr AI→ original

Un desarrollador crea un agente de IA para el correo: texto, fotos y voz con una sola clave de API

Para que un agente de IA ayude de verdad con el correo, necesita tres modelos: uno que lea mensajes y fotos, otro que reconozca la voz y un tercero que locute las respuestas. Lo habitual es que cada uno tenga su propia cuenta y su propio pago. El autor de AI Inbox, basado en FastAPI y OpenAI Agents SDK, conectó los tres con una sola clave: basta con fotografiar una factura y el agente crea una tarea con fecha límite. Para usarlo en proyectos propios, solo hay que cambiar base_url y los identificadores de los modelos en el archivo .env.

Procesado por IA desde Habr AI; editado por Hamidun News
Un desarrollador crea un agente de IA para el correo: texto, fotos y voz con una sola clave de API
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Tres rolesLLM para texto y fotos, ASR para voz y TTS para locución
Consulta de prueba con curl154 tokens de entrada y 125 de salida, 279 en total
Dato clave #3El correo solo se envía tras una confirmación aparte del borrador

Imagine que quiere crear un asistente de IA para el correo que no se limite a charlar, sino que haga cosas: leer mensajes, preparar resúmenes y crear tareas. Si además se añaden fotos y voz, enseguida se ve que hacen falta tres modelos distintos: uno para texto, imágenes y llamadas a herramientas; otro para reconocimiento de voz (ASR); y un tercero para convertir texto en voz (TTS). Lo habitual es que cada uno tenga su propio acceso, su propio pago y sus propios ajustes.

El autor de un artículo en Habr explicó cómo construir una aplicación así, AI Inbox, y conectar los tres modelos a través de un único proveedor: con una clave y un saldo. Por ejemplo, usted sube la foto de una factura, le pide que pase sus datos a una tarea y el agente lo hace por sí solo. Para un desarrollador, es una base lista de agente con herramientas que se adapta fácilmente a otras tareas.

Tres modelos, una clave

AI Inbox está construido con FastAPI y OpenAI Agents SDK, e incluye interfaz web y una base de datos SQLite. El agente lee correos, genera resúmenes, crea tareas con fecha límite y prepara respuestas. La aplicación se ejecuta en local, mientras que las consultas a los modelos van a la nube.

El autor conectó los tres modelos a través del agregador AnyModel, que ofrece una API compatible con OpenAI. Buscaba un acceso que se pudiera pagar desde Rusia y usar sin una VPN aparte para cada API. El saldo se recarga con una tarjeta rusa, mediante SBP o con criptomonedas, y en el panel de control se ven el gasto por modelo y el número de tokens de entrada y de salida. Resulta práctico cuando solo se está experimentando y se quiere controlar el coste.

La combinación es la siguiente: cx/gpt-6.1-terra mantiene el diálogo, resume los correos y extrae datos de las fotografías; dg/nova-3 reconoce la voz; y anyvoice/builtin-7 locuta las respuestas. No hay un reconocimiento de texto independiente en las imágenes: los datos de la foto los extrae la propia LLM. En la configuración solo cambian BASE_URL, la clave MAIN_KEY y los identificadores LLM_MODEL, ASR_MODEL y TTS_MODEL. Para la voz se usan las rutas /audio/transcriptions y /audio/speech, con la misma clave y la misma dirección base.

El autor advierte de que la compatibilidad con herramientas, imágenes y respuestas en streaming depende del modelo y de la ruta elegidos. Conviene probar los escenarios con ejemplos propios antes de conectarlos a la aplicación. Una consulta de control con curl confirmó que la autorización funciona: el servidor devolvió finish_reason «stop», 154 tokens de entrada y 125 de salida, 279 en total.

Qué sabe hacer el agente en la práctica

Foto de una factura: se sube la imagen y se pide crear una tarea con los datos del documento. Voz: usted dicta una orden, la aplicación reconoce el habla y primero muestra el texto, que se puede revisar y editar, y solo después lo envía al agente. Locución: las respuestas y los resúmenes de correos sin leer y de tareas abiertas se pueden escuchar directamente en el navegador.

Para preparar un correo, la aplicación pide al modelo un JSON con el asunto y el texto, y después comprueba por separado su estructura y sus valores. Así, la respuesta del modelo no avanza sin que se verifique el formato.

Seguridad y limitaciones

Lo más útil de la arquitectura es cómo trata las acciones irreversibles. El autor vincula el envío de un correo a una versión concreta del borrador y a una confirmación aparte del usuario. Si el texto se corrige después de la revisión, la confirmación ya no corresponde a esa versión. Para el correo se usan IMAP (lectura) y SMTP (envío) con una contraseña específica para aplicaciones externas. Esa contraseña solo la utiliza la parte del servidor, y el agente accede al correo mediante herramientas, de modo que no hace falta pasarla por el chat.

El acceso a AI Inbox está protegido con un usuario y una contraseña propios, y los tokens de acceso se firman con el secreto JWT_SECRET_KEY, de al menos 32 bytes. Las contraseñas y las claves se guardan en un .env local, excluido de Git.

El autor menciona las limitaciones sin rodeos. La aplicación está pensada para un único propietario y no incluye registro de usuarios. Se ejecuta en un solo proceso: en esta versión no se usan varios workers ni --reload, porque la programación de tareas y el estado de las consultas en streaming están diseñados para un único proceso. Para el buzón de prueba de Mail.ru se eligió acceso completo, por lo que en proyectos de producción conviene limitar los permisos.

El código del proyecto está fijado en la versión 90f0838, así que el ejemplo se puede reproducir. Los ajustes básicos para Mail.ru son imap.mail.ru, puerto 993, y smtp.mail.ru, puerto 465, ambos con SSL/TLS. La conclusión práctica: si va a crear un agente para tareas rutinarias, empiece con un solo proveedor y tres roles de modelo, añada desde el principio una confirmación para las acciones irreversibles y compruebe con sus propios datos que se admiten las funciones que necesita.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Tres modelos, una clave?

AI Inbox está construido con FastAPI y OpenAI Agents SDK, e incluye interfaz web y una base de datos SQLite. El agente lee correos, genera resúmenes, crea tareas con fecha límite y prepara respuestas. La aplicación se ejecuta en local, mientras que las consultas a los modelos van a la nube. El autor conectó los tres modelos a través del agregador AnyModel, que ofrece una API compatible con OpenAI. Buscaba un acceso que se pudiera pagar desde Rusia y usar sin una VPN aparte para cada API.

¿Qué se sabe sobre Qué sabe hacer el agente en la práctica?

Foto de una factura: se sube la imagen y se pide crear una tarea con los datos del documento. Voz: usted dicta una orden, la aplicación reconoce el habla y primero muestra el texto, que se puede revisar y editar, y solo después lo envía al agente. Locución: las respuestas y los resúmenes de correos sin leer y de tareas abiertas se pueden escuchar directamente en el navegador.

¿Qué se sabe sobre Seguridad y limitaciones?

Lo más útil de la arquitectura es cómo trata las acciones irreversibles. El autor vincula el envío de un correo a una versión concreta del borrador y a una confirmación aparte del usuario. Si el texto se corrige después de la revisión, la confirmación ya no corresponde a esa versión. Para el correo se usan IMAP (lectura) y SMTP (envío) con una contraseña específica para aplicaciones externas.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…