Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarAWS Machine Learning Blog→ original

GS Caltex reduziu de uma semana para algumas horas o tempo de colocar modelos de ML em produção

Modelos montados por especialistas costumam esperar semanas até que engenheiros os coloquem em um sistema de produção. A GS Caltex automatizou essa passagem a partir da ferramenta no-code AWS SageMaker Canvas: agora a implantação de um modelo leva algumas horas, em vez de cerca de uma semana. As previsões são calculadas em lotes a cada 30 minutos, o que dispensa manter o servidor ligado 24 horas por dia. Se os modelos são construídos por tecnólogos e não por programadores, essa ponte economiza dias de trabalho dos engenheiros.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
GS Caltex reduziu de uma semana para algumas horas o tempo de colocar modelos de ML em produção
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Cinco etapaspreparação, pré-processamento, previsão, montagem do resultado
Dado-chave #2O EventBridge dispara o cálculo 48 vezes por dia, uma a cada 30 minutos
Verifique se as execuções não se sobrepõemterminar em 30 minutos não está garantido

Imagine uma fábrica em que um tecnólogo ajusta por meses os parâmetros de um processo e, por fim, obtém um modelo que prevê bem o indicador desejado. Aí começa a parte mais maçante: transformar o modelo em uma tarefa que roda sozinha, em agenda, com dados novos. Normalmente essa etapa consome mais tempo do que o treinamento. A GS Caltex, empresa sul-coreana do setor de energia e petroquímica, descreveu no blog da AWS como reduziu esse prazo de cerca de uma semana para algumas horas.

Uma explicação rápida dos termos. Modelo de ML aqui é um programa de previsão já treinado. Colocar em produção significa levar esse programa do ambiente experimental para o sistema em operação. O SageMaker Canvas é a ferramenta visual da AWS na qual o modelo é montado sem código. O SageMaker Pipelines é o serviço que encadeia as etapas de processamento de dados e de previsão em um pipeline automático. Foram essas duas ferramentas que a empresa conectou.

Quem faz o quê

A GS Caltex dividiu os papéis de acordo com os pontos fortes de cada grupo. Os tecnólogos trabalham no Canvas: preparam os dados pelo editor visual Data Wrangler, treinam o modelo e avaliam o quanto as previsões são confiáveis. Eles conhecem o processo, as variáveis e os dados reais. Os engenheiros de ML pegam os resultados prontos e os transformam em tarefas de produção: mantêm as versões dos modelos, o histórico de execuções e o tratamento de falhas.

O gargalo estava na passagem entre os dois. Transferir recursos do Canvas para o Pipelines era feito à mão: escrever os caminhos dos dados em produção, repassar a configuração do modelo, ligar as tarefas de pré-processamento e de previsão. A GS Caltex automatizou essa transferência e reaproveita tudo o que o tecnólogo já validou. Segundo a empresa, os engenheiros de ML agora publicam os modelos em algumas horas. Antes levava cerca de uma semana.

Como o pipeline funciona

O esquema tem duas partes. A primeira é executada quando sai uma nova versão do modelo. O engenheiro obtém do Canvas o arquivo de pré-processamento e o próprio modelo, confere os formatos dos dados e os resultados das previsões, aprova o modelo no Model Registry e o implanta. A segunda parte roda continuamente: o Amazon EventBridge dispara, em agenda, um pipeline de cinco etapas.

  • PrepareInput adiciona aos dados uma coluna com o indicador-alvo preenchido com um valor fictício (placeholder), caso ela não exista;
  • PreprocessNewData aplica aos dados o mesmo pré-processamento que o tecnólogo validou;
  • DropTargetColumn remove o placeholder e o cabeçalho do CSV;
  • BatchPredict executa a previsão em lote com o modelo aprovado;
  • AssembleResults monta o CSV final a partir dos dados preparados e das previsões.

O placeholder existe por um motivo simples. O fluxo de processamento foi montado com dados de treinamento, nos quais o desfecho conhecido está presente. Nos dados novos esse desfecho, por definição, não existe, mas o fluxo continua esperando essa coluna. Os autores fazem uma ressalva: o truque funciona apenas se o placeholder não afetar os valores das variáveis. Se o fluxo filtra linhas pelo indicador-alvo, constrói variáveis a partir dele ou aplica target encoding, é preciso um ajuste específico.

A previsão é feita em lotes a cada 30 minutos, ou seja, 48 execuções por dia. Entre uma execução e outra não é preciso manter um endpoint funcionando o tempo todo, isto é, um servidor à espera de requisições. A empresa diz que isso reduziu bastante os custos de inferência, mas não divulga valores concretos. Para tarefas que exigem resposta imediata, o modo em lote não serve.

Armadilhas

Os autores listam com franqueza os pontos em que é possível tropeçar:

  • Caminho fixo de entrada. A etapa PrepareInput grava os dados no local definido dentro do arquivo .flow. Um parâmetro do pipeline não substitui esse caminho por conta própria. Para isolar cada execução é preciso uma etapa que atualize o caminho em uma cópia do arquivo. Execuções com o mesmo caminho de entrada não devem se sobrepor.
  • A aprovação do modelo não é verificada automaticamente. O Model Registry guarda o status, mas não bloqueia a previsão. A verificação precisa ser feita no código de implantação, e, ao revogar uma aprovação, os agendamentos devem ser atualizados.
  • Parâmetros aprendidos. Escalonamento e codificação definidos no treinamento não podem ser recalculados a cada novo lote. Convém fixar a versão da imagem do contêiner.
  • Verificação de correspondência. Compare colunas, tipos de dados e valores após o processamento no Canvas e em produção, usando a mesma entrada.

O que levar disso

A lição vai além de uma pilha da AWS. Se os modelos são construídos por especialistas de domínio, o valor está em uma ponte padronizada entre a ferramenta deles e a produção, e não em mais uma ferramenta. A implementação de referência está no GitHub e foi construída sobre um exemplo de modelo de classificação de crédito, por isso a configuração terá de ser adaptada aos seus formatos de entrada e saída. Ao estimar a economia, considere a cadeia inteira, e não apenas o custo do servidor: pré-processamento, inicialização de instâncias, previsão, armazenamento no S3 e logs.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Quem faz o quê?

A GS Caltex dividiu os papéis de acordo com os pontos fortes de cada grupo. Os tecnólogos trabalham no Canvas: preparam os dados pelo editor visual Data Wrangler, treinam o modelo e avaliam o quanto as previsões são confiáveis. Eles conhecem o processo, as variáveis e os dados reais. Os engenheiros de ML pegam os resultados prontos e os transformam em tarefas de produção: mantêm as versões dos modelos, o histórico de execuções e o tratamento de falhas. O gargalo estava na passagem entre os dois.

Como o pipeline funciona?

O esquema tem duas partes. A primeira é executada quando sai uma nova versão do modelo. O engenheiro obtém do Canvas o arquivo de pré-processamento e o próprio modelo, confere os formatos dos dados e os resultados das previsões, aprova o modelo no Model Registry e o implanta. A segunda parte roda continuamente: o Amazon EventBridge dispara, em agenda, um pipeline de cinco etapas.

O que se sabe sobre Armadilhas?

Os autores listam com franqueza os pontos em que é possível tropeçar: Caminho fixo de entrada. A etapa PrepareInput grava os dados no local definido dentro do arquivo .flow. Um parâmetro do pipeline não substitui esse caminho por conta própria. Para isolar cada execução é preciso uma etapa que atualize o caminho em uma cópia do arquivo. Execuções com o mesmo caminho de entrada não devem se sobrepor. A aprovação do modelo não é verificada automaticamente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…