Databricks y AWS SageMaker: un pipeline para el fine-tuning seguro de LLM

AWS y Databricks han mostrado cómo construir un pipeline de fine-tuning de LLM que resuelve dos problemas a la vez: mantener el control sobre los datos y los modelos mediante un catálogo centralizado, sin perder funcionalidad ni velocidad de desarrollo.

Arquitectura del workflow

La solución integra tres componentes. Databricks Unity Catalog se encarga de la gobernanza y el acceso: una sola tabla define quién puede usar qué datos. Amazon EMR Serverless prepara los datos para el entrenamiento y SageMaker AI realiza el ajuste del modelo. Tras el entrenamiento, los artefactos (pesos del modelo, métricas) se registran de nuevo en Unity Catalog.

Este enfoque permite que un equipo de data engineers, ML engineers y data scientists trabaje en un único espacio, sin copiar datos entre servicios ni configurar capas de acceso independientes para cada herramienta.

Etapas clave

• Gobernanza en la entrada: Unity Catalog define las políticas de acceso a los datos de origen: qué tablas son visibles y qué campos se enmascaran
• Preprocesamiento: EMR Serverless transforma los datos en bruto a un formato apto para entrenar LLM
• Fine-tuning: SageMaker AI ajusta Ministral-3-3B-Instruct (un modelo de Mistral) con los datos preparados
• Lineage tracking: toda la cadena, desde las tablas de origen hasta el modelo final, sigue siendo trazable para auditoría y compliance
• Registro de artefactos: el modelo entrenado y las métricas vuelven a Unity Catalog como activos gestionados

Por qué importa ahora

Muchas empresas se encuentran con uno de dos escenarios. O bien los datos y los modelos están dispersos en distintos servicios sin visibilidad sobre quién usa qué, de dónde salen los datos o quién los modificó. O bien intentan poner orden con sistemas propios de monitorización y acceso, lo que exige meses de desarrollo y mantenimiento.

«En lugar de construir la gobernanza desde cero, le ofrecemos una

integración lista en la que todos los componentes ya hablan el mismo idioma.»

La solución de AWS y Databricks elimina esa disyuntiva. La gobernanza y el lineage están integrados en la arquitectura desde el principio, y no añadidos después.

Qué significa

Para las grandes organizaciones y las instituciones financieras, esto significa que ahora pueden adoptar el fine-tuning de LLM sin riesgo de perder el control sobre sus datos. Para los equipos de ingeniería, que no necesitan escribir sus propios sistemas de seguimiento. La integración cierra la brecha entre los requisitos de seguridad y la velocidad de desarrollo de sistemas de ML.