Databricks et AWS SageMaker : un pipeline pour un fine-tuning sécurisé des LLM

AWS et Databricks ont montré comment construire un pipeline de fine-tuning de LLM qui règle deux problèmes à la fois : garder la maîtrise des données et des modèles grâce à un catalogue centralisé, sans sacrifier les fonctionnalités ni la vitesse de développement.

Architecture du workflow

La solution intègre trois composants. Databricks Unity Catalog gère la gouvernance et les accès : une seule table définit qui peut utiliser quelles données. Amazon EMR Serverless prépare les données pour l'entraînement, et SageMaker AI réalise l'ajustement du modèle proprement dit. Après l'entraînement, les artefacts (poids du modèle, métriques) sont enregistrés à nouveau dans Unity Catalog.

Cette approche permet à une équipe de data engineers, d'ML engineers et de data scientists de travailler dans un espace unique, sans copier les données d'un service à l'autre ni configurer des couches d'accès distinctes pour chaque outil.

Étapes clés

• Gouvernance en entrée : Unity Catalog définit les politiques d'accès aux données sources : quelles tables sont visibles, quels champs sont masqués
• Prétraitement : EMR Serverless transforme les données brutes dans un format adapté à l'entraînement des LLM
• Fine-tuning : SageMaker AI ajuste Ministral-3-3B-Instruct (un modèle de Mistral) à partir des données préparées
• Lineage tracking : toute la chaîne, des tables sources jusqu'au modèle final, reste traçable pour l'audit et la conformité
• Enregistrement des artefacts : le modèle entraîné et les métriques retournent dans Unity Catalog en tant qu'actifs gérés

Pourquoi c'est important maintenant

Beaucoup d'entreprises se retrouvent face à l'un de ces deux scénarios. Soit les données et les modèles sont dispersés entre différents services, sans visibilité sur qui utilise quoi, d'où viennent les données ou qui les a modifiées. Soit elles tentent de remettre de l'ordre avec leurs propres systèmes de supervision et d'accès, ce qui demande des mois de développement et de maintenance.

«

Plutôt que de construire la gouvernance à partir de zéro, nous vous proposons une intégration prête à l'emploi, où tous les composants parlent déjà le même langage. »

La solution d'AWS et de Databricks supprime ce dilemme. La gouvernance et le lineage sont intégrés à l'architecture dès le départ, et non ajoutés par-dessus.

Ce que cela signifie

Pour les grandes organisations et les établissements financiers, cela signifie qu'ils peuvent désormais adopter le fine-tuning de LLM sans risquer de perdre la maîtrise de leurs données. Pour les équipes d'ingénierie, cela signifie qu'elles n'ont pas besoin d'écrire leurs propres systèmes de suivi. L'intégration comble l'écart entre les exigences de sécurité et la vitesse de développement des systèmes de ML.