Разработчик собрал почтового ИИ-агента: текст, фото и голос через один API-ключ
Чтобы ИИ-агент реально помогал с почтой, ему нужны три модели: одна читает письма и фото, вторая распознаёт речь, третья озвучивает ответы, и обычно у каждой свой аккаунт и оплата. Автор AI Inbox на FastAPI и OpenAI Agents SDK подключил все три через один ключ: можно сфотографировать счёт, и агент создаст по нему задачу со сроком. Для своих проектов достаточно сменить base_url и идентификаторы моделей в .env.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте, что вы хотите сделать ИИ-помощника для почты, который не просто болтает в чате, а делает дела: читает письма, готовит сводки и заводит задачи. Если добавить к этому фото и голос, быстро выясняется, что нужно три разные модели: одна для текста, изображений и вызова инструментов, вторая для распознавания речи (ASR), третья для озвучки текста (TTS). Обычно у каждой свой доступ, своя оплата и свои настройки.
Автор статьи на Хабре показал, как собрать такое приложение, AI Inbox, и подключить все три модели через одного провайдера: с одним ключом и одним балансом. Например, вы загружаете фотографию счёта, просите перенести его данные в задачу, и агент делает это сам. Для разработчика это готовый скелет агента с инструментами, который легко переносится на другие задачи.
Три модели, один ключ
AI Inbox построен на FastAPI и OpenAI Agents SDK, с веб-интерфейсом и базой SQLite. Агент читает письма, делает по ним сводки, создаёт задачи со сроками и готовит ответы. Приложение запускается локально, а запросы к моделям уходят в облако.
Все три модели автор подключил через агрегатор AnyModel с OpenAI-совместимым API. Он искал доступ, который можно оплатить из России и использовать без отдельного VPN под каждый API. Баланс пополняется российской картой, через СБП или криптовалютой, а в кабинете видны расходы по моделям и число входных и выходных токенов. Это удобно, когда вы только экспериментируете и следите за стоимостью.
Связка выглядит так: cx/gpt-6.1-terra ведёт диалог, делает сводки писем и извлекает данные из фотографий, dg/nova-3 распознаёт речь, anyvoice/builtin-7 озвучивает ответы. Отдельного распознавания текста на снимках нет: данные из фото достаёт сама LLM. В настройках меняются только BASE_URL, ключ MAIN_KEY и идентификаторы LLM_MODEL, ASR_MODEL и TTS_MODEL. Для речи используются пути /audio/transcriptions и /audio/speech, ключ и базовый адрес те же.
Автор оговаривает: поддержка инструментов, изображений и потоковых ответов зависит от выбранной модели и маршрута. Сценарии стоит проверить на своих примерах до подключения к приложению. Контрольный запрос через curl показал рабочую авторизацию: сервер вернул finish_reason «stop», 154 входных и 125 выходных токенов, всего 279.
Что агент умеет на практике
Фото счёта: загружаете снимок и просите создать задачу с данными из документа. Голос: вы диктуете команду, приложение распознаёт речь и сначала показывает текст, который можно проверить и отредактировать, и только потом отправляет его агенту. Озвучка: ответы и дайджесты по непрочитанным письмам и открытым задачам можно прослушать прямо в браузере.
Для подготовки письма приложение запрашивает у модели JSON с темой и текстом, а затем отдельно проверяет его структуру и значения. Так ответ модели не уходит дальше без проверки формата.
Безопасность и ограничения
Самое полезное в архитектуре — отношение к необратимым действиям. Отправку письма автор связывает с конкретной версией черновика и отдельным подтверждением пользователя. Если текст поправили после проверки, подтверждение относится уже не к нему. Для почты используются IMAP (чтение) и SMTP (отправка) с отдельным паролем для внешнего приложения. Этот пароль использует только серверная часть, а агент обращается к почте через инструменты, и передавать пароль в чат не нужно.
Вход в сам AI Inbox защищён отдельными логином и паролем, а токены входа подписываются секретом JWT_SECRET_KEY длиной не менее 32 байт. Пароли и ключи хранятся в локальном .env, который исключён из Git.
Ограничения автор называет прямо. Приложение рассчитано на одного владельца, регистрации пользователей нет. Оно запускается одним процессом: несколько workers и --reload в этой версии не используются, потому что расписание и состояние потоковых запросов рассчитаны на один процесс. Для тестового ящика Mail.ru выбран полный доступ, поэтому в рабочих проектах права стоит ограничить.
Код проекта зафиксирован на версии 90f0838, так что пример можно повторить. Базовые настройки для Mail.ru: imap.mail.ru, порт 993, и smtp.mail.ru, порт 465, оба с SSL/TLS. Практический вывод: если делаете агента для рутины, начните с одного провайдера и трёх ролей моделей, сразу добавьте подтверждение для необратимых действий и проверяйте поддержку нужных функций на своих данных.
- 19 нояб. 2026 г.Инфостарт подключил Директ, Метрику и Wordstat к ChatGPT: 6 команд, общий доступ
- 19 нояб. 2026 г.Доли Amazon и Google в Anthropic оценили в $308 млрд при IPO по $83 за акцию
- 19 нояб. 2026 г.Gemini 4 Neon от Google работает вдвое быстрее Carbon и на 17% дешевле за задачу
- 19 нояб. 2026 г.Кодинг-агенты OpenAI в пересчёте на API стоят $2400 в день на исследователя
Вопросы и ответы по материалу
Что известно по теме: три модели, один ключ?
AI Inbox построен на FastAPI и OpenAI Agents SDK, с веб-интерфейсом и базой SQLite. Агент читает письма, делает по ним сводки, создаёт задачи со сроками и готовит ответы. Приложение запускается локально, а запросы к моделям уходят в облако. Все три модели автор подключил через агрегатор AnyModel с OpenAI-совместимым API. Он искал доступ, который можно оплатить из России и использовать без отдельного VPN под каждый API.
Что известно по теме: что агент умеет на практике?
Фото счёта: загружаете снимок и просите создать задачу с данными из документа. Голос: вы диктуете команду, приложение распознаёт речь и сначала показывает текст, который можно проверить и отредактировать, и только потом отправляет его агенту. Озвучка: ответы и дайджесты по непрочитанным письмам и открытым задачам можно прослушать прямо в браузере. Для подготовки письма приложение запрашивает у модели JSON с темой и текстом, а затем отдельно проверяет его структуру и значения.
Что известно по теме: безопасность и ограничения?
Самое полезное в архитектуре — отношение к необратимым действиям. Отправку письма автор связывает с конкретной версией черновика и отдельным подтверждением пользователя. Если текст поправили после проверки, подтверждение относится уже не к нему. Для почты используются IMAP (чтение) и SMTP (отправка) с отдельным паролем для внешнего приложения. Этот пароль использует только серверная часть, а агент обращается к почте через инструменты, и передавать пароль в чат не нужно.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.