Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoHabr AI→ original

Desenvolvedor cria agente de IA para e-mail: texto, foto e voz com uma única chave de API

Para um agente de IA ajudar de verdade com o e-mail, ele precisa de três modelos: um lê mensagens e fotos, outro reconhece fala e o terceiro narra as respostas. Normalmente, cada um exige conta e pagamento próprios. O autor do AI Inbox, feito com FastAPI e OpenAI Agents SDK, conectou os três por uma única chave. Dá para fotografar uma fatura, e o agente cria uma tarefa com prazo a partir dela. Para usar em outros projetos, basta trocar o base_url e os identificadores dos modelos no .env.

Processado por IA de Habr AI; editado por Hamidun News
Desenvolvedor cria agente de IA para e-mail: texto, foto e voz com uma única chave de API
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Três papéisLLM para texto e foto, ASR para fala e TTS para narração
Requisição de teste no curl154 tokens de entrada e 125 de saída, 279 no total
Dado-chave #3O e-mail só é enviado após uma confirmação separada do rascunho

Imagine que você quer criar um assistente de IA para e-mail que não fique só conversando no chat, mas realmente execute tarefas: leia mensagens, prepare resumos e crie tarefas. Ao acrescentar foto e voz, logo se percebe que são necessários três modelos diferentes: um para texto, imagens e chamada de ferramentas, outro para reconhecimento de fala (ASR) e um terceiro para converter texto em voz (TTS). Normalmente, cada um tem acesso, pagamento e configurações próprios.

O autor de um artigo no Habr mostrou como montar esse aplicativo, o AI Inbox, e conectar os três modelos por um único provedor, com uma chave e um saldo. Por exemplo, você envia a foto de uma fatura, pede para transferir os dados dela para uma tarefa, e o agente faz isso sozinho. Para o desenvolvedor, é um esqueleto de agente com ferramentas, pronto para uso e fácil de adaptar a outras tarefas.

Três modelos, uma chave

O AI Inbox é construído com FastAPI e OpenAI Agents SDK, tem interface web e banco de dados SQLite. O agente lê e-mails, faz resumos, cria tarefas com prazos e prepara respostas. O aplicativo roda localmente, mas as requisições aos modelos vão para a nuvem.

O autor conectou os três modelos pelo agregador AnyModel, que tem API compatível com a da OpenAI. Ele procurava um acesso que pudesse ser pago a partir da Rússia e usado sem uma VPN separada para cada API. O saldo é recarregado com cartão russo, via SBP ou com criptomoeda, e o painel mostra os gastos por modelo e o número de tokens de entrada e de saída. Isso é prático para quem está apenas experimentando e acompanhando o custo.

A combinação funciona assim: cx/gpt-6.1-terra conduz o diálogo, faz os resumos dos e-mails e extrai dados das fotos; dg/nova-3 reconhece a fala; anyvoice/builtin-7 narra as respostas. Não há um reconhecimento de texto (OCR) separado nas imagens: quem extrai os dados da foto é a própria LLM. Nas configurações, mudam apenas BASE_URL, a chave MAIN_KEY e os identificadores LLM_MODEL, ASR_MODEL e TTS_MODEL. Para a fala, são usados os caminhos /audio/transcriptions e /audio/speech, com a mesma chave e o mesmo endereço base.

O autor ressalva que o suporte a ferramentas, imagens e respostas em streaming depende do modelo e da rota escolhidos. Vale testar os cenários com exemplos próprios antes de integrar ao aplicativo. A requisição de teste via curl confirmou que a autorização funciona: o servidor devolveu finish_reason "stop", 154 tokens de entrada e 125 de saída, 279 no total.

O que o agente faz na prática

Foto de fatura: você envia a imagem e pede para criar uma tarefa com os dados do documento. Voz: você dita um comando, o aplicativo reconhece a fala e primeiro mostra o texto, que pode ser conferido e editado, e só depois o envia ao agente. Narração: as respostas e os resumos de e-mails não lidos e de tarefas abertas podem ser ouvidos direto no navegador.

Para preparar um e-mail, o aplicativo pede ao modelo um JSON com assunto e texto e, em seguida, valida separadamente a estrutura e os valores. Assim, a resposta do modelo não avança sem a verificação do formato.

Segurança e limitações

O mais útil na arquitetura é o tratamento das ações irreversíveis. O autor vincula o envio do e-mail a uma versão específica do rascunho e a uma confirmação separada do usuário. Se o texto for alterado depois da revisão, a confirmação deixa de valer para ele. Para o e-mail, são usados IMAP (leitura) e SMTP (envio) com uma senha separada para aplicativo externo. Essa senha é usada apenas pelo back-end, e o agente acessa o e-mail por meio de ferramentas, sem que seja preciso passar a senha no chat.

O acesso ao próprio AI Inbox é protegido por login e senha próprios, e os tokens de autenticação são assinados com o segredo JWT_SECRET_KEY, de no mínimo 32 bytes. Senhas e chaves ficam em um .env local, excluído do Git.

O autor aponta as limitações de forma direta. O aplicativo foi pensado para um único dono, e não há cadastro de usuários. Ele roda em um único processo: múltiplos workers e --reload não são usados nesta versão, porque o agendamento e o estado das requisições em streaming dependem de um só processo. Para a caixa de teste do Mail.ru, foi escolhido acesso total, por isso, em projetos de produção, convém restringir as permissões.

O código do projeto está fixado na versão 90f0838, o que permite reproduzir o exemplo. As configurações básicas do Mail.ru são: imap.mail.ru, porta 993, e smtp.mail.ru, porta 465, ambos com SSL/TLS. Conclusão prática: se você está criando um agente para tarefas de rotina, comece com um único provedor e três papéis de modelo, adicione desde o início a confirmação para ações irreversíveis e verifique o suporte às funções necessárias com os seus próprios dados.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Três modelos, uma chave?

O AI Inbox é construído com FastAPI e OpenAI Agents SDK, tem interface web e banco de dados SQLite. O agente lê e-mails, faz resumos, cria tarefas com prazos e prepara respostas. O aplicativo roda localmente, mas as requisições aos modelos vão para a nuvem. O autor conectou os três modelos pelo agregador AnyModel, que tem API compatível com a da OpenAI. Ele procurava um acesso que pudesse ser pago a partir da Rússia e usado sem uma VPN separada para cada API.

O que o agente faz na prática?

Foto de fatura: você envia a imagem e pede para criar uma tarefa com os dados do documento. Voz: você dita um comando, o aplicativo reconhece a fala e primeiro mostra o texto, que pode ser conferido e editado, e só depois o envia ao agente. Narração: as respostas e os resumos de e-mails não lidos e de tarefas abertas podem ser ouvidos direto no navegador. Para preparar um e-mail, o aplicativo pede ao modelo um JSON com assunto e texto e, em seguida, valida separadamente a estrutura e os valores.

O que se sabe sobre Segurança e limitações?

O mais útil na arquitetura é o tratamento das ações irreversíveis. O autor vincula o envio do e-mail a uma versão específica do rascunho e a uma confirmação separada do usuário. Se o texto for alterado depois da revisão, a confirmação deixa de valer para ele. Para o e-mail, são usados IMAP (leitura) e SMTP (envio) com uma senha separada para aplicativo externo. Essa senha é usada apenas pelo back-end, e o agente acessa o e-mail por meio de ferramentas, sem que seja preciso passar a senha no chat.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…