Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

GS Caltex ускорила запуск ML-моделей в работу с недели до нескольких часов

Модели, собранные экспертами, часто неделями ждут инженеров, которые должны запустить их в рабочую систему. GS Caltex автоматизировала эту передачу из no-code-инструмента AWS SageMaker Canvas: теперь выкладка модели занимает несколько часов вместо примерно недели. Прогнозы считаются пакетами раз в 30 минут, поэтому сервер не нужно держать включённым круглосуточно. Если модели у вас строят технологи, а не программисты, такой мост сэкономит инженерам дни.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
GS Caltex ускорила запуск ML-моделей в работу с недели до нескольких часов
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Пять шаговподготовка, предобработка, прогноз, сборка результата
Ключевой факт #2EventBridge запускает расчёт 48 раз в сутки, по одному на 30 минут
Проверьте, не накладываются ли прогоныуложиться в 30 минут не гарантировано

Представьте завод, где технолог месяцами подбирает параметры процесса и наконец получает модель, которая хорошо предсказывает нужный показатель. Дальше начинается самое скучное: модель надо превратить в задачу, которая сама запускается по расписанию на свежих данных. Обычно этот этап съедает больше времени, чем обучение. Южнокорейская энергохимическая компания GS Caltex описала в блоге AWS, как сократила его с примерно недели до нескольких часов.

Расшифруем коротко. ML-модель здесь — обученная программа-прогнозист. Выкладка в прод — перенос её из экспериментальной среды в рабочую систему. SageMaker Canvas — визуальный инструмент AWS, где модель собирают без кода. SageMaker Pipelines — сервис, который связывает шаги обработки данных и прогноза в автоматический конвейер. Эти два инструмента компания и соединила.

Кто что делает

GS Caltex разделила роли по сильным сторонам. Технологи работают в Canvas: готовят данные через визуальный редактор Data Wrangler, обучают модель и оценивают, насколько прогнозам можно доверять. Они знают процесс, переменные и реальные данные. ML-инженеры берут готовые результаты и превращают их в производственные задачи: ведут версии моделей, историю запусков и обработку сбоев.

Узким местом оставался стык. Переносить ресурсы из Canvas в Pipelines приходилось вручную: прописывать пути к данным в продакшене, передавать конфигурацию модели, связывать задачи предобработки и прогноза. GS Caltex автоматизировала эту передачу и повторно использует всё, что технолог уже проверил. По данным компании, ML-инженеры теперь выкладывают модели за несколько часов. Раньше уходила примерно неделя.

Как устроен конвейер

Схема состоит из двух частей. Первая работает при выходе новой версии модели. Инженер получает из Canvas файл предобработки и саму модель, смотрит форматы данных и результаты прогнозов, одобряет модель в реестре Model Registry и разворачивает её. Вторая часть работает постоянно: по расписанию Amazon EventBridge запускает конвейер из пяти шагов.

  • PrepareInput добавляет в данные столбец с целевым показателем-заглушкой, если его нет;
  • PreprocessNewData прогоняет данные через ту же предобработку, которую проверил технолог;
  • DropTargetColumn убирает заглушку и заголовок CSV;
  • BatchPredict запускает пакетный прогноз одобренной моделью;
  • AssembleResults собирает итоговый CSV из подготовленных данных и прогнозов.

Заглушка нужна из-за простой причины. Поток обработки собрали на обучающих данных, где известный исход есть. В новых данных его по определению нет, но поток всё равно ждёт этот столбец. Авторы оговариваются: приём работает, только если заглушка не влияет на значения признаков. Если поток фильтрует строки по целевому показателю, строит признаки из него или применяет target encoding, нужна отдельная доработка.

Прогноз идёт пакетами каждые 30 минут. Это 48 запусков в сутки. Между запусками не нужно держать постоянно работающий эндпоинт, то есть сервер, который ждёт запросов. Компания сообщает, что это заметно снизило затраты на инференс, но конкретных сумм не приводит. Для задач, где нужен мгновенный ответ, пакетный режим не подойдёт.

Подводные камни

Авторы честно перечисляют места, где можно споткнуться:

  • Фиксированный путь входных данных. Шаг PrepareInput пишет данные в место, прописанное внутри .flow-файла. Параметр пайплайна этот путь сам не заменит. Для изоляции каждого запуска нужен шаг, который обновляет путь в копии файла. Запуски с общим входным путём не должны пересекаться.
  • Одобрение модели не проверяется автоматически. Model Registry хранит статус, но не блокирует прогноз. Проверку нужно делать в коде выкладки, а при отзыве одобрения обновлять расписания.
  • Выученные параметры. Масштабирование и кодирование, подобранные при обучении, нельзя пересчитывать на каждом новом пакете. Версию контейнерного образа лучше закрепить.
  • Проверка совпадения. Сравните столбцы, типы данных и значения после обработки в Canvas и в продакшене на одном и том же входе.

Что из этого взять

Урок шире одного стека AWS. Если модели строят эксперты предметной области, ценность создаёт стандартный мост между их инструментом и продакшеном, а не ещё один инструмент. Эталонная реализация лежит на GitHub и построена на примере модели классификации кредитов, поэтому конфигурацию придётся подгонять под ваши форматы входа и выхода. Оценивая экономию, считайте всю цепочку, а не только простой сервера: предобработку, старт инстансов, прогноз, хранение в S3 и логи.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: кто что делает?

GS Caltex разделила роли по сильным сторонам. Технологи работают в Canvas: готовят данные через визуальный редактор Data Wrangler, обучают модель и оценивают, насколько прогнозам можно доверять. Они знают процесс, переменные и реальные данные. ML-инженеры берут готовые результаты и превращают их в производственные задачи: ведут версии моделей, историю запусков и обработку сбоев. Узким местом оставался стык.

Что известно по теме: как устроен конвейер?

Схема состоит из двух частей. Первая работает при выходе новой версии модели. Инженер получает из Canvas файл предобработки и саму модель, смотрит форматы данных и результаты прогнозов, одобряет модель в реестре Model Registry и разворачивает её. Вторая часть работает постоянно: по расписанию Amazon EventBridge запускает конвейер из пяти шагов.

Что известно по теме: подводные камни?

Авторы честно перечисляют места, где можно споткнуться: Фиксированный путь входных данных. Шаг PrepareInput пишет данные в место, прописанное внутри .flow-файла. Параметр пайплайна этот путь сам не заменит. Для изоляции каждого запуска нужен шаг, который обновляет путь в копии файла. Запуски с общим входным путём не должны пересекаться. Одобрение модели не проверяется автоматически. Model Registry хранит статус, но не блокирует прогноз.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…