Databricks e AWS SageMaker: um pipeline para fine-tuning seguro de LLMs

AWS e Databricks mostraram como montar um pipeline de fine-tuning de LLMs que resolve dois problemas ao mesmo tempo: manter o controle sobre dados e modelos por meio de um catálogo centralizado, sem perder funcionalidade nem velocidade de desenvolvimento.

Arquitetura do workflow

A solução integra três componentes. O Databricks Unity Catalog cuida da governança e do acesso: uma única tabela define quem pode usar quais dados. O Amazon EMR Serverless prepara os dados para o treinamento, e o SageMaker AI faz o ajuste do modelo em si. Depois do treinamento, os artefatos (pesos do modelo, métricas) são registrados de volta no Unity Catalog.

Essa abordagem permite que uma equipe de data engineers, ML engineers e data scientists trabalhe em um único espaço, sem copiar dados entre serviços nem configurar camadas de acesso separadas para cada ferramenta.

Principais etapas

• Governança na entrada: o Unity Catalog define as políticas de acesso aos dados de origem: quais tabelas ficam visíveis e quais campos são mascarados
• Pré-processamento: o EMR Serverless transforma os dados brutos em um formato adequado para o treinamento de LLMs
• Fine-tuning: o SageMaker AI ajusta o Ministral-3-3B-Instruct (modelo da Mistral) usando os dados preparados
• Lineage tracking: toda a cadeia, das tabelas de origem até o modelo final, continua rastreável para auditoria e compliance
• Registro de artefatos: o modelo treinado e as métricas voltam ao Unity Catalog como ativos gerenciados

Por que isso importa agora

Muitas empresas enfrentam um de dois cenários. Ou os dados e modelos ficam espalhados por diversos serviços, sem visibilidade sobre quem usa o quê, de onde vêm os dados e quem os alterou. Ou tentam organizar tudo com sistemas próprios de monitoramento e acesso, o que exige meses de desenvolvimento e manutenção.

"Em vez de construir a governança do zero, entregamos uma integração

pronta, em que todos os componentes já falam a mesma língua."

A solução da AWS e da Databricks elimina essa escolha. Governança e lineage já nascem embutidos na arquitetura, e não são adicionados por cima.

O que isso significa

Para grandes organizações e instituições financeiras, isso significa que agora é possível adotar fine-tuning de LLMs sem o risco de perder o controle sobre os dados. Para as equipes de engenharia, significa que não é preciso escrever sistemas próprios de rastreamento. A integração fecha a lacuna entre os requisitos de segurança e a velocidade de desenvolvimento de sistemas de ML.