AWS mostra como criar agentes de IA no SageMaker e testar modelos com MLflow

Em 27 de abril de 2026, a AWS publicou uma análise prática de como executar agentes de IA em infraestrutura gerenciada própria, e não apenas em serviços totalmente managed. A empresa apresentou uma combinação de Strands Agents SDK, SageMaker AI e Serverless MLflow em que o agente pode ser montado rapidamente, implantado em um endpoint, observado em produção e comparado entre várias variantes de modelo sem mudar a arquitetura geral. Para equipes que priorizam controle, custo previsível e requisitos de segurança, parece uma tentativa de transformar sistemas de agentes de uma camada experimental em um processo normal de MLOps.

A abordagem se baseia no Strands Agents SDK, um framework open source para montar agentes a partir de um modelo, um prompt e um conjunto de ferramentas. No exemplo, a AWS mostra primeiro um cenário básico com um modelo no Bedrock e depois leva a mesma ideia para modelos hospedados no SageMaker AI. O ponto-chave é que o Strands consegue trabalhar com os inference endpoints do SageMaker como provedor de modelo, desde que o modelo suporte uma API de chat completions compatível com a OpenAI.

A demonstração usa duas versões do Qwen3 do SageMaker JumpStart: 4B e 8B. A primeira é implantada como endpoint principal, e então o agente ganha acesso a ferramentas como requisições HTTP e calculadora, podendo executar tarefas típicas sobre a infraestrutura de modelos própria.

Por que levar a lógica do agente para o SageMaker se o mercado já tem tantas APIs prontas? A AWS apresenta quatro argumentos. Primeiro, controle da infraestrutura: é possível escolher com precisão instâncias, configurações de rede e regras de escalonamento para atingir a latência e o SLA necessários. Segundo, flexibilidade de modelos: além dos foundation models prontos, dá para usar variantes customizadas ou com fine-tuning, além de modelos open source. Terceiro, uma economia mais previsível para cargas grandes, graças aos dedicated endpoints e ao dimensionamento preciso de recursos. Quarto, um ambiente enterprise adequado em torno dos agentes: rastreamento, versionamento, testes A/B e auditoria, que são necessários em produção, não em demos.

A AWS também dá destaque à observabilidade. Para isso, usa o SageMaker AI Serverless MLflow: o serviço registra automaticamente execution traces, etapas do agente, chamadas de ferramentas e métricas, sem obrigar a equipe a instrumentar o código manualmente com telemetria própria. Com o autolog ativado, os dados chegam à interface do MLflow, onde é possível ver a lista de execuções, abrir um trace específico e consultar o Agent Loop, a árvore de spans e as entradas e saídas de cada etapa.

Isso importa além da depuração. Esse nível de transparência é necessário quando o agente passa a tomar decisões em processos de negócio sensíveis e a equipe precisa entender onde exatamente ele errou, por que escolheu determinada ferramenta e como o comportamento muda após a atualização do modelo.

A parte mais prática do material é o teste A/B entre variantes de modelo. A AWS mostra como associar ao mesmo endpoint duas variantes de produção, no exemplo Qwen3 4B e Qwen3 8B, e dividir inicialmente o tráfego entre elas em 50% para cada. Depois, é possível comparar as respostas no fluxo real ou criar dois agentes separados, cada um apontando para a sua target variant.

Em seguida entra a avaliação GenAI do MLflow: a equipe monta um conjunto único de casos de teste, define expectativas sobre os fatos e as ferramentas usadas e passa as duas variantes pelos mesmos scorers. O exemplo usa tanto verificações determinísticas quanto métricas LLM-as-a-judge, como correctness e relevance. Assim, a escolha do modelo deixa de ser uma discussão baseada em impressões e vira um procedimento reproduzível: a nova versão não apenas parece mais inteligente, mas passa pelos mesmos testes, e depois pode ser promovida gradualmente a principal por meio da alteração dos pesos.

A conclusão é simples: a AWS não está vendendo mais um SDK de agentes, mas um esquema de engenharia em que o agente se torna um componente de produto gerenciável. Se a empresa precisa de modelos próprios, de seu próprio perímetro, de auditoria das ações do agente e de um rollout cuidadoso de novas versões, a combinação de Strands, SageMaker e MLflow atende a esse cenário bem mais perto da realidade enterprise do que muitos stacks de demo rápidos. Para o mercado, é mais um sinal de que a próxima disputa em IA não será só pela qualidade do modelo, mas pela qualidade da infraestrutura ao redor dele.