Un développeur a conçu un agent IA pour la messagerie : texte, photo et voix avec une seule clé API
Pour qu'un agent IA aide réellement à gérer sa messagerie, il faut trois modèles : le premier lit les e-mails et les photos, le deuxième reconnaît la parole, le troisième lit les réponses à voix haute. Chacun a généralement son propre compte et sa propre facturation. L'auteur d'AI Inbox, bâti sur FastAPI et OpenAI Agents SDK, a branché les trois modèles via une seule clé : on peut photographier une facture, et l'agent en tire une tâche assortie d'une échéance. Pour ses propres projets, il suffit de modifier base_url et les identifiants de modèles dans le fichier .env.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez un assistant IA pour la messagerie qui ne se contente pas de bavarder dans un chat, mais qui agit : il lit les e-mails, prépare des synthèses et crée des tâches. Si l'on y ajoute la photo et la voix, on constate vite qu'il faut trois modèles différents : un pour le texte, les images et l'appel d'outils, un deuxième pour la reconnaissance vocale (ASR), un troisième pour la synthèse vocale (TTS). En général, chacun a son propre accès, sa propre facturation et ses propres réglages.
L'auteur d'un article publié sur Habr montre comment construire une telle application, AI Inbox, et brancher les trois modèles chez un seul fournisseur : avec une clé et un solde uniques. Par exemple, vous téléchargez la photo d'une facture, vous demandez de reporter ses données dans une tâche, et l'agent s'en charge seul. Pour un développeur, c'est un squelette d'agent avec outils, prêt à l'emploi et facile à adapter à d'autres usages.
Trois modèles, une seule clé
AI Inbox repose sur FastAPI et OpenAI Agents SDK, avec une interface web et une base SQLite. L'agent lit les e-mails, en tire des synthèses, crée des tâches avec échéances et prépare des réponses. L'application tourne en local, tandis que les requêtes aux modèles partent dans le cloud.
L'auteur a branché les trois modèles via l'agrégateur AnyModel, qui propose une API compatible OpenAI. Il cherchait un accès payable depuis la Russie et utilisable sans VPN distinct pour chaque API. Le solde se recharge par carte russe, via le SBP ou en cryptomonnaie, et l'espace client affiche les dépenses par modèle ainsi que le nombre de tokens en entrée et en sortie. C'est pratique quand on en est au stade de l'expérimentation et qu'on surveille les coûts.
L'assemblage se présente ainsi : cx/gpt-6.1-terra mène le dialogue, rédige les synthèses d'e-mails et extrait les données des photos ; dg/nova-3 reconnaît la parole ; anyvoice/builtin-7 lit les réponses à voix haute. Il n'y a pas de reconnaissance de texte distincte sur les images : c'est le LLM lui-même qui extrait les données des photos. Dans la configuration, seuls changent BASE_URL, la clé MAIN_KEY et les identifiants LLM_MODEL, ASR_MODEL et TTS_MODEL. Pour la voix, on utilise les chemins /audio/transcriptions et /audio/speech, avec la même clé et la même adresse de base.
L'auteur précise que la prise en charge des outils, des images et des réponses en streaming dépend du modèle et de la route choisis. Il vaut mieux tester les scénarios sur ses propres exemples avant de connecter le modèle à l'application. Une requête de contrôle avec curl a confirmé que l'authentification fonctionne : le serveur a renvoyé finish_reason « stop », 154 tokens en entrée et 125 en sortie, soit 279 au total.
Ce que l'agent sait faire concrètement
Photo de facture : vous téléchargez l'image et demandez de créer une tâche avec les données du document. Voix : vous dictez une commande ; l'application reconnaît la parole et affiche d'abord le texte, que vous pouvez vérifier et modifier, avant de l'envoyer à l'agent. Synthèse vocale : les réponses et les digests des e-mails non lus et des tâches ouvertes peuvent être écoutés directement dans le navigateur.
Pour préparer un e-mail, l'application demande au modèle un JSON contenant l'objet et le corps du message, puis en vérifie séparément la structure et les valeurs. La réponse du modèle ne passe donc pas à l'étape suivante sans contrôle du format.
Sécurité et limites
Le point le plus utile de l'architecture est le traitement des actions irréversibles. L'auteur lie l'envoi d'un e-mail à une version précise du brouillon et à une confirmation distincte de l'utilisateur. Si le texte est modifié après la vérification, la confirmation ne s'applique plus à cette nouvelle version. Pour la messagerie, l'application utilise IMAP (lecture) et SMTP (envoi) avec un mot de passe distinct pour application externe. Seule la partie serveur utilise ce mot de passe : l'agent accède à la messagerie par des outils, et il n'est pas nécessaire de transmettre le mot de passe dans le chat.
L'accès à AI Inbox lui-même est protégé par un identifiant et un mot de passe distincts, et les tokens de connexion sont signés avec un secret JWT_SECRET_KEY d'au moins 32 octets. Les mots de passe et les clés sont stockés dans un fichier .env local, exclu de Git.
L'auteur énonce clairement les limites. L'application est conçue pour un seul propriétaire, sans inscription d'utilisateurs. Elle tourne en un seul processus : plusieurs workers et --reload ne sont pas utilisés dans cette version, car la planification et l'état des requêtes en streaming sont prévus pour un seul processus. Pour la boîte de test Mail.ru, l'auteur a choisi un accès complet ; dans des projets de production, il vaut donc mieux restreindre les droits.
Le code du projet est figé à la version 90f0838, ce qui permet de reproduire l'exemple. Réglages de base pour Mail.ru : imap.mail.ru, port 993, et smtp.mail.ru, port 465, tous deux en SSL/TLS. Conclusion pratique : si vous construisez un agent pour des tâches routinières, commencez avec un seul fournisseur et trois rôles de modèles, ajoutez d'emblée une confirmation pour les actions irréversibles et vérifiez sur vos propres données la prise en charge des fonctions dont vous avez besoin.
- 19 nov. 2026Le modèle ouvert DaisyRose-27B résout 12% des tâches de Terminal-Bench, contre 5,6%
- 19 nov. 2026La même Gemma 4 écrit un backend à 80% dans opencode, mais seulement à 41% dans OpenHands
- 19 nov. 2026Les agents de codage d'OpenAI coûteraient 2400 $ par jour et par chercheur au tarif de l'API
- 19 nov. 2026Les agents AWS AgentCore peuvent désormais joindre un Keycloak fermé protégé par une CA d'entreprise
Questions clés sur cet article
Que sait-on sur Trois modèles, une seule clé ?
AI Inbox repose sur FastAPI et OpenAI Agents SDK, avec une interface web et une base SQLite. L'agent lit les e-mails, en tire des synthèses, crée des tâches avec échéances et prépare des réponses. L'application tourne en local, tandis que les requêtes aux modèles partent dans le cloud. L'auteur a branché les trois modèles via l'agrégateur AnyModel, qui propose une API compatible OpenAI. Il cherchait un accès payable depuis la Russie et utilisable sans VPN distinct pour chaque API.
Que sait-on sur Ce que l'agent sait faire concrètement ?
Photo de facture : vous téléchargez l'image et demandez de créer une tâche avec les données du document. Voix : vous dictez une commande ; l'application reconnaît la parole et affiche d'abord le texte, que vous pouvez vérifier et modifier, avant de l'envoyer à l'agent. Synthèse vocale : les réponses et les digests des e-mails non lus et des tâches ouvertes peuvent être écoutés directement dans le navigateur.
Que sait-on sur Sécurité et limites ?
Le point le plus utile de l'architecture est le traitement des actions irréversibles. L'auteur lie l'envoi d'un e-mail à une version précise du brouillon et à une confirmation distincte de l'utilisateur. Si le texte est modifié après la vérification, la confirmation ne s'applique plus à cette nouvelle version. Pour la messagerie, l'application utilise IMAP (lecture) et SMTP (envoi) avec un mot de passe distinct pour application externe.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.