Amazon SageMaker lança fine-tuning completo de LLMs: 90% de soluções corretas em código
A Amazon adicionou ao SageMaker AI o fine-tuning completo (FFT): o modelo é retreinado por inteiro, e não por meio de pequenos adaptadores LoRA, e não é preciso configurar GPUs nem clusters. Com o Qwen3-4B e 110 mil pares «tarefa — solução» de código, o FFT alcançou 90% de soluções corretas segundo a avaliação do modelo juiz Amazon Nova Pro. Se a LoRA esbarrou no teto de qualidade em um dataset grande, dá para testar o FFT trocando uma única linha no SDK. Mas os dados vêm de uma só tarefa, e o blog foi escrito pela própria AWS.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que você está fazendo o fine-tuning de um modelo pequeno para escrever código nos seus projetos. Em geral, a escolha é a LoRA: ela não mexe nos pesos originais e adiciona a eles pequenas matrizes treináveis, os adaptadores, por isso consome pouca memória de vídeo. Só que, em tarefas complexas e datasets grandes, essa abordagem bate no teto de qualidade.
A Amazon agora oferece uma saída: o serviço SageMaker AI Serverless Model Customization ganhou o fine-tuning completo (Full Fine-Tuning, FFT), que atualiza todos os parâmetros do modelo. Em um dataset de 110 mil tarefas de programação, com 100 mil ou mais exemplos de treinamento, o FFT atingiu 90% na métrica LLM-as-Judge, ou seja, outro modelo, o juiz, considerou 90% das soluções logicamente corretas. Não é preciso preparar GPUs, cluster nem configuração de treinamento distribuído.
Como o FFT difere da LoRA
As empresas fazem fine-tuning por dois motivos. Primeiro, o modelo resolve com mais precisão uma tarefa específica. Segundo, um modelo pequeno e especializado pode igualar ou superar um modelo grande e generalista na sua tarefa, custando bem menos por token. Com milhões de requisições, essa diferença se acumula.
A LoRA congela os pesos do modelo pré-treinado e adiciona pares de pequenas matrizes de baixo rank. Para adaptações simples, isso basta. Mas, segundo a AWS, quando a tarefa fica mais complexa e os exemplos passam de dezenas de milhares, a LoRA chega a um platô: aumentar o rank, isto é, o número de parâmetros treináveis, não reduz a distância para o fine-tuning convencional. Os autores concluem que o problema não está na quantidade de parâmetros, mas na própria «insuficiência de rank»: uma atualização de baixo rank não consegue transmitir toda a complexidade das mudanças nos pesos. O FFT altera as matrizes de pesos por inteiro e sem as distorções locais típicas dos métodos de baixo rank.
Como o teste foi feito
A AWS usou o modelo base Qwen3-4B e o dataset Magicoder-Evol-Instruct-110K: 110 mil pares «instrução — resposta» sobre algoritmos, depuração, estruturas de dados e programação de sistemas. Os dados foram divididos na proporção 90/5/5: 99 mil registros para treino, 5,5 mil para validação e outros 5,5 mil como conjunto de teste separado. Os dois métodos receberam os mesmos prompts, as mesmas respostas de referência e o mesmo código de avaliação.
A qualidade foi medida de três maneiras, todas integradas:
- LLM-as-Judge: o modelo Amazon Nova Pro lê o prompt e o código gerado e decide se a solução está correta;
- PRIMECODE: comparação com o código de referência pelas métricas BLEU, ROUGE-1/2/L e F1;
- MMLU: teste de conhecimentos gerais em 57 áreas, que serve de proteção contra o esquecimento. O fine-tuning em código pode sobrescrever as capacidades gerais do modelo, e o MMLU, antes e depois, mostra o que foi sacrificado.
No gráfico de radar, o modelo base fica consistentemente fraco, a LoRA é nitidamente melhor, e o FFT vai além em todos os eixos, principalmente em BLEU e ROUGE-2. Para os autores, isso indica não uma vantagem em uma única métrica, mas um efeito geral da otimização de rank completo.
O que fazer com isso na prática
O serviço permite testar variações rapidamente. Em pouco tempo, a equipe rodou dezenas de experimentos com os modelos Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B e Gemma-4-26B, variando taxa de aprendizado, tamanho de batch, proporção de warmup, número de épocas e tamanho do dataset. Cada execução, do lançamento aos resultados, levava algumas horas, e os modelos prontos iam automaticamente para o SageMaker Model Registry como pacotes versionados.
Alternar entre os métodos no SDK de Python exige um único ajuste: no SFTTrainer, o parâmetro TrainingType.FULL é trocado por TrainingType.LORA, e o restante do código permanece igual. No exemplo de FFT, os valores indicados são taxa de aprendizado de 2e-5, batch global de 8, duas épocas e proporção de warmup de 0,1. São valores iniciais, não uma receita universal.
A taxa de aprendizado é especialmente importante no FFT: ela define o quanto cada peso é atualizado. Ao contrário da LoRA, em que só os pequenos adaptadores mudam, um valor alto demais no fine-tuning completo apaga de forma irreversível o conhecimento pré-treinado. Por isso, além da métrica-alvo, vale acompanhar o MMLU.
A conclusão para o leitor é a seguinte. Se os dados são poucos ou a tarefa é restrita, a LoRA continua sendo um ponto de partida mais barato e seguro. Se você tem um dataset grande e de qualidade, uma tarefa complexa e a LoRA bateu no teto, vale testar o FFT. Ressalva: o blog foi escrito pela própria AWS, e os resultados vêm de uma única tarefa, a geração de código. Em outros domínios, os números terão de ser verificados novamente.
- 20 de nov. de 2026Anthropic levanta US$ 81,3 bilhões no IPO e supera o recorde de US$ 75 bilhões da SpaceX
- 20 de nov. de 2026AWS divide a adoção de IA responsável para agentes em 3 fases ao longo de 12 semanas
- 20 de nov. de 2026Anthropic levanta US$ 104,8 bilhões no IPO, mas compromissos com infraestrutura chegam a US$ 1 trilhão
- 20 de nov. de 2026AWS lança NVIDIA Dynamo gerenciado para modelos que não cabem em um único servidor
Perguntas frequentes sobre a notícia
Como o FFT difere da LoRA?
As empresas fazem fine-tuning por dois motivos. Primeiro, o modelo resolve com mais precisão uma tarefa específica. Segundo, um modelo pequeno e especializado pode igualar ou superar um modelo grande e generalista na sua tarefa, custando bem menos por token. Com milhões de requisições, essa diferença se acumula. A LoRA congela os pesos do modelo pré-treinado e adiciona pares de pequenas matrizes de baixo rank. Para adaptações simples, isso basta.
Como o teste foi feito?
A AWS usou o modelo base Qwen3-4B e o dataset Magicoder-Evol-Instruct-110K: 110 mil pares «instrução — resposta» sobre algoritmos, depuração, estruturas de dados e programação de sistemas. Os dados foram divididos na proporção 90/5/5: 99 mil registros para treino, 5,5 mil para validação e outros 5,5 mil como conjunto de teste separado. Os dois métodos receberam os mesmos prompts, as mesmas respostas de referência e o mesmo código de avaliação.
O que fazer com isso na prática?
O serviço permite testar variações rapidamente. Em pouco tempo, a equipe rodou dezenas de experimentos com os modelos Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B e Gemma-4-26B, variando taxa de aprendizado, tamanho de batch, proporção de warmup, número de épocas e tamanho do dataset. Cada execução, do lançamento aos resultados, levava algumas horas, e os modelos prontos iam automaticamente para o SageMaker Model Registry como pacotes versionados.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.