Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Разработчик собрал почтового ИИ-агента: текст, фото и голос через один API-ключ

Чтобы ИИ-агент реально помогал с почтой, ему нужны три модели: одна читает письма и фото, вторая распознаёт речь, третья озвучивает ответы, и обычно у каждой свой аккаунт и оплата. Автор AI Inbox на FastAPI и OpenAI Agents SDK подключил все три через один ключ: можно сфотографировать счёт, и агент создаст по нему задачу со сроком. Для своих проектов достаточно сменить base_url и идентификаторы моделей в .env.

AI-обработка оригинала Habr AI; редакция Hamidun News
Разработчик собрал почтового ИИ-агента: текст, фото и голос через один API-ключ
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Три ролиLLM для текста и фото, ASR для речи, TTS для озвучки
Тестовый запрос в curl154 входных и 125 выходных токенов, всего 279
Ключевой факт #3Письмо уходит только после отдельного подтверждения черновика

Представьте, что вы хотите сделать ИИ-помощника для почты, который не просто болтает в чате, а делает дела: читает письма, готовит сводки и заводит задачи. Если добавить к этому фото и голос, быстро выясняется, что нужно три разные модели: одна для текста, изображений и вызова инструментов, вторая для распознавания речи (ASR), третья для озвучки текста (TTS). Обычно у каждой свой доступ, своя оплата и свои настройки.

Автор статьи на Хабре показал, как собрать такое приложение, AI Inbox, и подключить все три модели через одного провайдера: с одним ключом и одним балансом. Например, вы загружаете фотографию счёта, просите перенести его данные в задачу, и агент делает это сам. Для разработчика это готовый скелет агента с инструментами, который легко переносится на другие задачи.

Три модели, один ключ

AI Inbox построен на FastAPI и OpenAI Agents SDK, с веб-интерфейсом и базой SQLite. Агент читает письма, делает по ним сводки, создаёт задачи со сроками и готовит ответы. Приложение запускается локально, а запросы к моделям уходят в облако.

Все три модели автор подключил через агрегатор AnyModel с OpenAI-совместимым API. Он искал доступ, который можно оплатить из России и использовать без отдельного VPN под каждый API. Баланс пополняется российской картой, через СБП или криптовалютой, а в кабинете видны расходы по моделям и число входных и выходных токенов. Это удобно, когда вы только экспериментируете и следите за стоимостью.

Связка выглядит так: cx/gpt-6.1-terra ведёт диалог, делает сводки писем и извлекает данные из фотографий, dg/nova-3 распознаёт речь, anyvoice/builtin-7 озвучивает ответы. Отдельного распознавания текста на снимках нет: данные из фото достаёт сама LLM. В настройках меняются только BASE_URL, ключ MAIN_KEY и идентификаторы LLM_MODEL, ASR_MODEL и TTS_MODEL. Для речи используются пути /audio/transcriptions и /audio/speech, ключ и базовый адрес те же.

Автор оговаривает: поддержка инструментов, изображений и потоковых ответов зависит от выбранной модели и маршрута. Сценарии стоит проверить на своих примерах до подключения к приложению. Контрольный запрос через curl показал рабочую авторизацию: сервер вернул finish_reason «stop», 154 входных и 125 выходных токенов, всего 279.

Что агент умеет на практике

Фото счёта: загружаете снимок и просите создать задачу с данными из документа. Голос: вы диктуете команду, приложение распознаёт речь и сначала показывает текст, который можно проверить и отредактировать, и только потом отправляет его агенту. Озвучка: ответы и дайджесты по непрочитанным письмам и открытым задачам можно прослушать прямо в браузере.

Для подготовки письма приложение запрашивает у модели JSON с темой и текстом, а затем отдельно проверяет его структуру и значения. Так ответ модели не уходит дальше без проверки формата.

Безопасность и ограничения

Самое полезное в архитектуре — отношение к необратимым действиям. Отправку письма автор связывает с конкретной версией черновика и отдельным подтверждением пользователя. Если текст поправили после проверки, подтверждение относится уже не к нему. Для почты используются IMAP (чтение) и SMTP (отправка) с отдельным паролем для внешнего приложения. Этот пароль использует только серверная часть, а агент обращается к почте через инструменты, и передавать пароль в чат не нужно.

Вход в сам AI Inbox защищён отдельными логином и паролем, а токены входа подписываются секретом JWT_SECRET_KEY длиной не менее 32 байт. Пароли и ключи хранятся в локальном .env, который исключён из Git.

Ограничения автор называет прямо. Приложение рассчитано на одного владельца, регистрации пользователей нет. Оно запускается одним процессом: несколько workers и --reload в этой версии не используются, потому что расписание и состояние потоковых запросов рассчитаны на один процесс. Для тестового ящика Mail.ru выбран полный доступ, поэтому в рабочих проектах права стоит ограничить.

Код проекта зафиксирован на версии 90f0838, так что пример можно повторить. Базовые настройки для Mail.ru: imap.mail.ru, порт 993, и smtp.mail.ru, порт 465, оба с SSL/TLS. Практический вывод: если делаете агента для рутины, начните с одного провайдера и трёх ролей моделей, сразу добавьте подтверждение для необратимых действий и проверяйте поддержку нужных функций на своих данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: три модели, один ключ?

AI Inbox построен на FastAPI и OpenAI Agents SDK, с веб-интерфейсом и базой SQLite. Агент читает письма, делает по ним сводки, создаёт задачи со сроками и готовит ответы. Приложение запускается локально, а запросы к моделям уходят в облако. Все три модели автор подключил через агрегатор AnyModel с OpenAI-совместимым API. Он искал доступ, который можно оплатить из России и использовать без отдельного VPN под каждый API.

Что известно по теме: что агент умеет на практике?

Фото счёта: загружаете снимок и просите создать задачу с данными из документа. Голос: вы диктуете команду, приложение распознаёт речь и сначала показывает текст, который можно проверить и отредактировать, и только потом отправляет его агенту. Озвучка: ответы и дайджесты по непрочитанным письмам и открытым задачам можно прослушать прямо в браузере. Для подготовки письма приложение запрашивает у модели JSON с темой и текстом, а затем отдельно проверяет его структуру и значения.

Что известно по теме: безопасность и ограничения?

Самое полезное в архитектуре — отношение к необратимым действиям. Отправку письма автор связывает с конкретной версией черновика и отдельным подтверждением пользователя. Если текст поправили после проверки, подтверждение относится уже не к нему. Для почты используются IMAP (чтение) и SMTP (отправка) с отдельным паролем для внешнего приложения. Этот пароль использует только серверная часть, а агент обращается к почте через инструменты, и передавать пароль в чат не нужно.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…