Desenvolvedor cria agente de IA para e-mail: texto, foto e voz com uma única chave de API
Para um agente de IA ajudar de verdade com o e-mail, ele precisa de três modelos: um lê mensagens e fotos, outro reconhece fala e o terceiro narra as respostas. Normalmente, cada um exige conta e pagamento próprios. O autor do AI Inbox, feito com FastAPI e OpenAI Agents SDK, conectou os três por uma única chave. Dá para fotografar uma fatura, e o agente cria uma tarefa com prazo a partir dela. Para usar em outros projetos, basta trocar o base_url e os identificadores dos modelos no .env.
Processado por IA de Habr AI; editado por Hamidun News
Imagine que você quer criar um assistente de IA para e-mail que não fique só conversando no chat, mas realmente execute tarefas: leia mensagens, prepare resumos e crie tarefas. Ao acrescentar foto e voz, logo se percebe que são necessários três modelos diferentes: um para texto, imagens e chamada de ferramentas, outro para reconhecimento de fala (ASR) e um terceiro para converter texto em voz (TTS). Normalmente, cada um tem acesso, pagamento e configurações próprios.
O autor de um artigo no Habr mostrou como montar esse aplicativo, o AI Inbox, e conectar os três modelos por um único provedor, com uma chave e um saldo. Por exemplo, você envia a foto de uma fatura, pede para transferir os dados dela para uma tarefa, e o agente faz isso sozinho. Para o desenvolvedor, é um esqueleto de agente com ferramentas, pronto para uso e fácil de adaptar a outras tarefas.
Três modelos, uma chave
O AI Inbox é construído com FastAPI e OpenAI Agents SDK, tem interface web e banco de dados SQLite. O agente lê e-mails, faz resumos, cria tarefas com prazos e prepara respostas. O aplicativo roda localmente, mas as requisições aos modelos vão para a nuvem.
O autor conectou os três modelos pelo agregador AnyModel, que tem API compatível com a da OpenAI. Ele procurava um acesso que pudesse ser pago a partir da Rússia e usado sem uma VPN separada para cada API. O saldo é recarregado com cartão russo, via SBP ou com criptomoeda, e o painel mostra os gastos por modelo e o número de tokens de entrada e de saída. Isso é prático para quem está apenas experimentando e acompanhando o custo.
A combinação funciona assim: cx/gpt-6.1-terra conduz o diálogo, faz os resumos dos e-mails e extrai dados das fotos; dg/nova-3 reconhece a fala; anyvoice/builtin-7 narra as respostas. Não há um reconhecimento de texto (OCR) separado nas imagens: quem extrai os dados da foto é a própria LLM. Nas configurações, mudam apenas BASE_URL, a chave MAIN_KEY e os identificadores LLM_MODEL, ASR_MODEL e TTS_MODEL. Para a fala, são usados os caminhos /audio/transcriptions e /audio/speech, com a mesma chave e o mesmo endereço base.
O autor ressalva que o suporte a ferramentas, imagens e respostas em streaming depende do modelo e da rota escolhidos. Vale testar os cenários com exemplos próprios antes de integrar ao aplicativo. A requisição de teste via curl confirmou que a autorização funciona: o servidor devolveu finish_reason "stop", 154 tokens de entrada e 125 de saída, 279 no total.
O que o agente faz na prática
Foto de fatura: você envia a imagem e pede para criar uma tarefa com os dados do documento. Voz: você dita um comando, o aplicativo reconhece a fala e primeiro mostra o texto, que pode ser conferido e editado, e só depois o envia ao agente. Narração: as respostas e os resumos de e-mails não lidos e de tarefas abertas podem ser ouvidos direto no navegador.
Para preparar um e-mail, o aplicativo pede ao modelo um JSON com assunto e texto e, em seguida, valida separadamente a estrutura e os valores. Assim, a resposta do modelo não avança sem a verificação do formato.
Segurança e limitações
O mais útil na arquitetura é o tratamento das ações irreversíveis. O autor vincula o envio do e-mail a uma versão específica do rascunho e a uma confirmação separada do usuário. Se o texto for alterado depois da revisão, a confirmação deixa de valer para ele. Para o e-mail, são usados IMAP (leitura) e SMTP (envio) com uma senha separada para aplicativo externo. Essa senha é usada apenas pelo back-end, e o agente acessa o e-mail por meio de ferramentas, sem que seja preciso passar a senha no chat.
O acesso ao próprio AI Inbox é protegido por login e senha próprios, e os tokens de autenticação são assinados com o segredo JWT_SECRET_KEY, de no mínimo 32 bytes. Senhas e chaves ficam em um .env local, excluído do Git.
O autor aponta as limitações de forma direta. O aplicativo foi pensado para um único dono, e não há cadastro de usuários. Ele roda em um único processo: múltiplos workers e --reload não são usados nesta versão, porque o agendamento e o estado das requisições em streaming dependem de um só processo. Para a caixa de teste do Mail.ru, foi escolhido acesso total, por isso, em projetos de produção, convém restringir as permissões.
O código do projeto está fixado na versão 90f0838, o que permite reproduzir o exemplo. As configurações básicas do Mail.ru são: imap.mail.ru, porta 993, e smtp.mail.ru, porta 465, ambos com SSL/TLS. Conclusão prática: se você está criando um agente para tarefas de rotina, comece com um único provedor e três papéis de modelo, adicione desde o início a confirmação para ações irreversíveis e verifique o suporte às funções necessárias com os seus próprios dados.
- 19 de nov. de 2026Anthropic estreia na bolsa e capta US$ 81,3 bilhões — recorde de US$ 75 bilhões da SpaceX é superado
- 19 de nov. de 2026Infostart conecta Direct, Metrica e Wordstat ao ChatGPT: 6 comandos, acesso compartilhado
- 19 de nov. de 2026Participações da Amazon e do Google na Anthropic são avaliadas em US$308 bilhões no IPO a US$83 por ação
- 19 de nov. de 2026Gemini 4 Neon, do Google, é quase duas vezes mais rápida que a Carbon e 17% mais barata por tarefa
Perguntas frequentes sobre a notícia
O que se sabe sobre Três modelos, uma chave?
O AI Inbox é construído com FastAPI e OpenAI Agents SDK, tem interface web e banco de dados SQLite. O agente lê e-mails, faz resumos, cria tarefas com prazos e prepara respostas. O aplicativo roda localmente, mas as requisições aos modelos vão para a nuvem. O autor conectou os três modelos pelo agregador AnyModel, que tem API compatível com a da OpenAI. Ele procurava um acesso que pudesse ser pago a partir da Rússia e usado sem uma VPN separada para cada API.
O que o agente faz na prática?
Foto de fatura: você envia a imagem e pede para criar uma tarefa com os dados do documento. Voz: você dita um comando, o aplicativo reconhece a fala e primeiro mostra o texto, que pode ser conferido e editado, e só depois o envia ao agente. Narração: as respostas e os resumos de e-mails não lidos e de tarefas abertas podem ser ouvidos direto no navegador. Para preparar um e-mail, o aplicativo pede ao modelo um JSON com assunto e texto e, em seguida, valida separadamente a estrutura e os valores.
O que se sabe sobre Segurança e limitações?
O mais útil na arquitetura é o tratamento das ações irreversíveis. O autor vincula o envio do e-mail a uma versão específica do rascunho e a uma confirmação separada do usuário. Se o texto for alterado depois da revisão, a confirmação deixa de valer para ele. Para o e-mail, são usados IMAP (leitura) e SMTP (envio) com uma senha separada para aplicativo externo. Essa senha é usada apenas pelo back-end, e o agente acessa o e-mail por meio de ferramentas, sem que seja preciso passar a senha no chat.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.