Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieCode / SDK · Prêt à l'emploiHabr AI→ original

Un développeur a conçu un agent IA pour la messagerie : texte, photo et voix avec une seule clé API

Pour qu'un agent IA aide réellement à gérer sa messagerie, il faut trois modèles : le premier lit les e-mails et les photos, le deuxième reconnaît la parole, le troisième lit les réponses à voix haute. Chacun a généralement son propre compte et sa propre facturation. L'auteur d'AI Inbox, bâti sur FastAPI et OpenAI Agents SDK, a branché les trois modèles via une seule clé : on peut photographier une facture, et l'agent en tire une tâche assortie d'une échéance. Pour ses propres projets, il suffit de modifier base_url et les identifiants de modèles dans le fichier .env.

Traité par IA depuis Habr AI ; édité par Hamidun News
Un développeur a conçu un agent IA pour la messagerie : texte, photo et voix avec une seule clé API
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Trois rôlesun LLM pour le texte et les photos, un ASR pour la parole, un TTS pour la synthèse vocale
Requête de test avec curl154 tokens en entrée et 125 en sortie, soit 279 au total
Chiffre clé #3Un e-mail n'est envoyé qu'après une confirmation distincte du brouillon

Imaginez un assistant IA pour la messagerie qui ne se contente pas de bavarder dans un chat, mais qui agit : il lit les e-mails, prépare des synthèses et crée des tâches. Si l'on y ajoute la photo et la voix, on constate vite qu'il faut trois modèles différents : un pour le texte, les images et l'appel d'outils, un deuxième pour la reconnaissance vocale (ASR), un troisième pour la synthèse vocale (TTS). En général, chacun a son propre accès, sa propre facturation et ses propres réglages.

L'auteur d'un article publié sur Habr montre comment construire une telle application, AI Inbox, et brancher les trois modèles chez un seul fournisseur : avec une clé et un solde uniques. Par exemple, vous téléchargez la photo d'une facture, vous demandez de reporter ses données dans une tâche, et l'agent s'en charge seul. Pour un développeur, c'est un squelette d'agent avec outils, prêt à l'emploi et facile à adapter à d'autres usages.

Trois modèles, une seule clé

AI Inbox repose sur FastAPI et OpenAI Agents SDK, avec une interface web et une base SQLite. L'agent lit les e-mails, en tire des synthèses, crée des tâches avec échéances et prépare des réponses. L'application tourne en local, tandis que les requêtes aux modèles partent dans le cloud.

L'auteur a branché les trois modèles via l'agrégateur AnyModel, qui propose une API compatible OpenAI. Il cherchait un accès payable depuis la Russie et utilisable sans VPN distinct pour chaque API. Le solde se recharge par carte russe, via le SBP ou en cryptomonnaie, et l'espace client affiche les dépenses par modèle ainsi que le nombre de tokens en entrée et en sortie. C'est pratique quand on en est au stade de l'expérimentation et qu'on surveille les coûts.

L'assemblage se présente ainsi : cx/gpt-6.1-terra mène le dialogue, rédige les synthèses d'e-mails et extrait les données des photos ; dg/nova-3 reconnaît la parole ; anyvoice/builtin-7 lit les réponses à voix haute. Il n'y a pas de reconnaissance de texte distincte sur les images : c'est le LLM lui-même qui extrait les données des photos. Dans la configuration, seuls changent BASE_URL, la clé MAIN_KEY et les identifiants LLM_MODEL, ASR_MODEL et TTS_MODEL. Pour la voix, on utilise les chemins /audio/transcriptions et /audio/speech, avec la même clé et la même adresse de base.

L'auteur précise que la prise en charge des outils, des images et des réponses en streaming dépend du modèle et de la route choisis. Il vaut mieux tester les scénarios sur ses propres exemples avant de connecter le modèle à l'application. Une requête de contrôle avec curl a confirmé que l'authentification fonctionne : le serveur a renvoyé finish_reason « stop », 154 tokens en entrée et 125 en sortie, soit 279 au total.

Ce que l'agent sait faire concrètement

Photo de facture : vous téléchargez l'image et demandez de créer une tâche avec les données du document. Voix : vous dictez une commande ; l'application reconnaît la parole et affiche d'abord le texte, que vous pouvez vérifier et modifier, avant de l'envoyer à l'agent. Synthèse vocale : les réponses et les digests des e-mails non lus et des tâches ouvertes peuvent être écoutés directement dans le navigateur.

Pour préparer un e-mail, l'application demande au modèle un JSON contenant l'objet et le corps du message, puis en vérifie séparément la structure et les valeurs. La réponse du modèle ne passe donc pas à l'étape suivante sans contrôle du format.

Sécurité et limites

Le point le plus utile de l'architecture est le traitement des actions irréversibles. L'auteur lie l'envoi d'un e-mail à une version précise du brouillon et à une confirmation distincte de l'utilisateur. Si le texte est modifié après la vérification, la confirmation ne s'applique plus à cette nouvelle version. Pour la messagerie, l'application utilise IMAP (lecture) et SMTP (envoi) avec un mot de passe distinct pour application externe. Seule la partie serveur utilise ce mot de passe : l'agent accède à la messagerie par des outils, et il n'est pas nécessaire de transmettre le mot de passe dans le chat.

L'accès à AI Inbox lui-même est protégé par un identifiant et un mot de passe distincts, et les tokens de connexion sont signés avec un secret JWT_SECRET_KEY d'au moins 32 octets. Les mots de passe et les clés sont stockés dans un fichier .env local, exclu de Git.

L'auteur énonce clairement les limites. L'application est conçue pour un seul propriétaire, sans inscription d'utilisateurs. Elle tourne en un seul processus : plusieurs workers et --reload ne sont pas utilisés dans cette version, car la planification et l'état des requêtes en streaming sont prévus pour un seul processus. Pour la boîte de test Mail.ru, l'auteur a choisi un accès complet ; dans des projets de production, il vaut donc mieux restreindre les droits.

Le code du projet est figé à la version 90f0838, ce qui permet de reproduire l'exemple. Réglages de base pour Mail.ru : imap.mail.ru, port 993, et smtp.mail.ru, port 465, tous deux en SSL/TLS. Conclusion pratique : si vous construisez un agent pour des tâches routinières, commencez avec un seul fournisseur et trois rôles de modèles, ajoutez d'emblée une confirmation pour les actions irréversibles et vérifiez sur vos propres données la prise en charge des fonctions dont vous avez besoin.

Dossier

Questions clés sur cet article

Que sait-on sur Trois modèles, une seule clé ?

AI Inbox repose sur FastAPI et OpenAI Agents SDK, avec une interface web et une base SQLite. L'agent lit les e-mails, en tire des synthèses, crée des tâches avec échéances et prépare des réponses. L'application tourne en local, tandis que les requêtes aux modèles partent dans le cloud. L'auteur a branché les trois modèles via l'agrégateur AnyModel, qui propose une API compatible OpenAI. Il cherchait un accès payable depuis la Russie et utilisable sans VPN distinct pour chaque API.

Que sait-on sur Ce que l'agent sait faire concrètement ?

Photo de facture : vous téléchargez l'image et demandez de créer une tâche avec les données du document. Voix : vous dictez une commande ; l'application reconnaît la parole et affiche d'abord le texte, que vous pouvez vérifier et modifier, avant de l'envoyer à l'agent. Synthèse vocale : les réponses et les digests des e-mails non lus et des tâches ouvertes peuvent être écoutés directement dans le navigateur.

Que sait-on sur Sécurité et limites ?

Le point le plus utile de l'architecture est le traitement des actions irréversibles. L'auteur lie l'envoi d'un e-mail à une version précise du brouillon et à une confirmation distincte de l'utilisateur. Si le texte est modifié après la vérification, la confirmation ne s'applique plus à cette nouvelle version. Pour la messagerie, l'application utilise IMAP (lecture) et SMTP (envoi) avec un mot de passe distinct pour application externe.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…