Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

GS Caltex réduit le déploiement de ses modèles ML d'une semaine à quelques heures

Les modèles construits par les experts attendent souvent des semaines qu'un ingénieur les mette en production. GS Caltex a automatisé ce transfert depuis l'outil sans code AWS SageMaker Canvas : désormais, le déploiement d'un modèle prend quelques heures au lieu d'environ une semaine. Les prédictions sont calculées par lots toutes les 30 minutes, ce qui évite de maintenir un serveur allumé en permanence. Si vos modèles sont construits par des technologues et non par des développeurs, ce pont fera gagner des jours aux ingénieurs.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
GS Caltex réduit le déploiement de ses modèles ML d'une semaine à quelques heures
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Cinq étapespréparation, prétraitement, prédiction, assemblage du résultat
Chiffre clé #2EventBridge déclenche le calcul 48 fois par jour, soit une fois toutes les 30 minutes
Chiffre clé #3Vérifiez que les exécutions ne se chevauchent pas : le respect de la limite de 30 minutes n'est pas garanti

Imaginez une usine où un technologue passe des mois à ajuster les paramètres d'un procédé et obtient enfin un modèle qui prédit bien l'indicateur visé. Vient ensuite la partie la plus fastidieuse : transformer ce modèle en une tâche qui s'exécute automatiquement selon un calendrier, sur des données fraîches. Cette étape prend souvent plus de temps que l'entraînement. La compagnie énergétique et chimique sud-coréenne GS Caltex a expliqué dans le blog d'AWS comment elle a ramené ce délai d'environ une semaine à quelques heures.

Pour faire simple : un modèle de ML est ici un programme de prédiction entraîné. La mise en production consiste à le transférer de l'environnement expérimental vers le système de production. SageMaker Canvas est l'outil visuel d'AWS qui permet de construire un modèle sans écrire de code. SageMaker Pipelines est le service qui enchaîne les étapes de traitement des données et de prédiction dans un pipeline automatisé. GS Caltex a relié ces deux outils.

Qui fait quoi

GS Caltex a réparti les rôles selon les forces de chacun. Les technologues travaillent dans Canvas : ils préparent les données avec l'éditeur visuel Data Wrangler, entraînent le modèle et évaluent dans quelle mesure ses prédictions sont fiables. Ils connaissent le procédé, les variables et les données réelles. Les ingénieurs ML reprennent les résultats validés et les transforment en tâches de production : gestion des versions de modèles, historique des exécutions et traitement des incidents.

La jonction restait le point faible. Le transfert des ressources de Canvas vers Pipelines se faisait à la main : renseigner les chemins d'accès aux données en production, transmettre la configuration du modèle, relier les tâches de prétraitement et de prédiction. GS Caltex a automatisé ce transfert et réutilise tout ce que le technologue a déjà vérifié. Selon la compagnie, les ingénieurs ML mettent désormais les modèles en production en quelques heures. Auparavant, il fallait environ une semaine.

Comment fonctionne le pipeline

Le dispositif comporte deux volets. Le premier se déclenche lorsqu'une nouvelle version du modèle est disponible. L'ingénieur récupère depuis Canvas le fichier de prétraitement et le modèle lui-même, vérifie les formats de données et les résultats de prédiction, approuve le modèle dans le registre Model Registry, puis le déploie. Le second volet fonctionne en permanence : Amazon EventBridge lance selon un calendrier le pipeline de cinq étapes.

  • PrepareInput ajoute aux données une colonne de la cible factice si elle est absente ;
  • PreprocessNewData applique aux données le même prétraitement que celui validé par le technologue ;
  • DropTargetColumn supprime la colonne factice et l'en-tête CSV ;
  • BatchPredict exécute la prédiction par lots avec le modèle approuvé ;
  • AssembleResults assemble le CSV final à partir des données préparées et des prédictions.

La colonne factice s'explique simplement. Le flux de traitement a été construit sur des données d'entraînement où le résultat connu existe. Dans les nouvelles données, il n'existe pas par définition, mais le flux attend tout de même cette colonne. Les auteurs précisent que le procédé ne fonctionne que si cette colonne factice n'influence pas les valeurs des variables explicatives. Si le flux filtre les lignes selon la cible, construit des variables à partir de celle-ci ou applique un target encoding, il faut un développement supplémentaire.

Les prédictions sont calculées par lots toutes les 30 minutes, soit 48 exécutions par jour. Il n'est pas nécessaire de maintenir un point de terminaison en fonctionnement continu, c'est-à-dire un serveur en attente de requêtes, entre deux exécutions. La compagnie indique que cela a sensiblement réduit les coûts d'inférence, sans toutefois communiquer de montants précis. Pour les cas d'usage exigeant une réponse instantanée, le mode par lots ne convient pas.

Les pièges à éviter

Les auteurs énumèrent honnêtement les endroits où l'on peut trébucher :

  • Chemin d'entrée fixe. L'étape PrepareInput écrit les données à l'emplacement défini dans le fichier .flow. Un paramètre du pipeline ne remplace pas ce chemin. Pour isoler chaque exécution, il faut une étape qui met à jour le chemin dans une copie du fichier. Les exécutions partageant un même chemin d'entrée ne doivent pas se chevaucher.
  • Approbation du modèle non vérifiée automatiquement. Model Registry conserve le statut, mais ne bloque pas la prédiction. La vérification doit être faite dans le code de déploiement, et les calendriers doivent être mis à jour lorsqu'une approbation est retirée.
  • Paramètres appris. La mise à l'échelle et l'encodage calculés pendant l'entraînement ne doivent pas être recalculés à chaque nouveau lot. Il est préférable de figer la version de l'image du conteneur.
  • Contrôle de cohérence. Comparez les colonnes, les types de données et les valeurs après traitement dans Canvas et en production, sur une même entrée.

Ce qu'il faut en retenir

La leçon dépasse la seule pile technologique d'AWS. Lorsque les modèles sont construits par des experts métier, la valeur vient d'un pont standard entre leur outil et la production, et non d'un outil de plus. L'implémentation de référence est disponible sur GitHub et s'appuie sur un exemple de modèle de classification de crédits : il faudra donc adapter la configuration à vos formats d'entrée et de sortie. Pour évaluer les économies, prenez en compte toute la chaîne et non le seul coût du serveur : prétraitement, démarrage des instances, prédiction, stockage sur S3 et journaux.

Dossier

Questions clés sur cet article

Que sait-on sur Qui fait quoi ?

GS Caltex a réparti les rôles selon les forces de chacun. Les technologues travaillent dans Canvas : ils préparent les données avec l'éditeur visuel Data Wrangler, entraînent le modèle et évaluent dans quelle mesure ses prédictions sont fiables. Ils connaissent le procédé, les variables et les données réelles. Les ingénieurs ML reprennent les résultats validés et les transforment en tâches de production : gestion des versions de modèles, historique des exécutions et traitement des incidents.

Comment fonctionne le pipeline?

Le dispositif comporte deux volets. Le premier se déclenche lorsqu'une nouvelle version du modèle est disponible. L'ingénieur récupère depuis Canvas le fichier de prétraitement et le modèle lui-même, vérifie les formats de données et les résultats de prédiction, approuve le modèle dans le registre Model Registry, puis le déploie. Le second volet fonctionne en permanence : Amazon EventBridge lance selon un calendrier le pipeline de cinq étapes.

Que sait-on sur Les pièges à éviter ?

Les auteurs énumèrent honnêtement les endroits où l'on peut trébucher : Chemin d'entrée fixe. L'étape PrepareInput écrit les données à l'emplacement défini dans le fichier .flow. Un paramètre du pipeline ne remplace pas ce chemin. Pour isoler chaque exécution, il faut une étape qui met à jour le chemin dans une copie du fichier. Les exécutions partageant un même chemin d'entrée ne doivent pas se chevaucher. Approbation du modèle non vérifiée automatiquement.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…