Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraCódigo / SDK · Listo para usarAWS Machine Learning Blog→ original

Amazon SageMaker lanza el ajuste fino completo de LLM: 90% de soluciones correctas en código

Amazon ha añadido a SageMaker AI el ajuste fino completo (FFT): el modelo se reentrena entero, no mediante pequeños adaptadores LoRA, y no hace falta configurar GPU ni clústeres. Con Qwen3-4B y 110 mil pares «tarea — solución» de código, el FFT alcanzó 90% de soluciones correctas según la evaluación del modelo juez Amazon Nova Pro. Si LoRA se ha topado con un techo en un dataset grande, se puede probar el FFT cambiando una sola línea en el SDK. Eso sí, los datos proceden de una única tarea y el blog lo ha escrito la propia AWS.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Amazon SageMaker lanza el ajuste fino completo de LLM: 90% de soluciones correctas en código
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1Pasar de FFT a LoRA en el SDK requiere una sola línea: TrainingType.FULL → LORA
Dataset Magicoder-Evol-Instruct-110K99 mil para entrenamiento y 5,5 mil para validación y para test
Dato clave #3Cada experimento, desde el lanzamiento hasta la evaluación, tardaba varias horas

Imagine que está ajustando un modelo pequeño para que escriba código para sus proyectos. Lo habitual es recurrir a LoRA: no toca los pesos principales, sino que les añade pequeñas matrices entrenables (adaptadores), por lo que necesita poca memoria de vídeo. Pero en tareas complejas y con datasets grandes, este enfoque topa con un techo de calidad.

Amazon propone ahora una salida: el servicio SageMaker AI Serverless Model Customization incorpora el ajuste fino completo (Full Fine-Tuning, FFT), que actualiza todos los parámetros del modelo. Con un dataset de 110 mil tareas de programación y con 100 mil o más ejemplos de entrenamiento, el FFT obtuvo 90% en la métrica LLM-as-Judge; es decir, otro modelo, el juez, consideró lógicamente correctas el 90% de las soluciones. No hace falta preparar GPU, ni un clúster, ni configurar el entrenamiento distribuido.

En qué se diferencia el FFT de LoRA

Las empresas necesitan el ajuste fino por dos motivos. Primero, el modelo resuelve con más precisión una tarea concreta. Segundo, un modelo pequeño y especializado puede igualar o superar a uno grande y generalista en esa tarea, con un coste por token mucho menor. Con millones de peticiones, esa diferencia se acumula.

LoRA congela los pesos del modelo preentrenado y añade pares de pequeñas matrices de rango bajo. Para adaptaciones sencillas basta. Pero, según AWS, cuando la tarea se complica y los ejemplos pasan de las decenas de miles, LoRA llega a una meseta: aumentar el rango, es decir, el número de parámetros entrenables, no reduce la distancia con el ajuste fino convencional. Los autores concluyen que el problema no es la cantidad de parámetros, sino la propia «insuficiencia de rango»: una actualización de rango bajo no transmite toda la complejidad de los cambios en los pesos. El FFT modifica las matrices de pesos por completo y sin las distorsiones locales propias de los métodos de rango bajo.

Cómo se hizo la prueba

AWS tomó el modelo base Qwen3-4B y el dataset Magicoder-Evol-Instruct-110K: 110 mil pares «instrucción — respuesta» sobre algoritmos, depuración, estructuras de datos y programación de sistemas. Los dividió en proporción 90/5/5: 99 mil registros para entrenamiento, 5,5 mil para validación y otros 5,5 mil como conjunto de test reservado. Ambos métodos recibieron los mismos prompts, las mismas referencias y el mismo código de evaluación.

La calidad se midió con tres métodos integrados:

  • LLM-as-Judge: el modelo Amazon Nova Pro lee el prompt y el código generado y decide si la solución es correcta;
  • PRIMECODE: comparación con el código de referencia mediante las métricas BLEU, ROUGE-1/2/L y F1;
  • MMLU: prueba de conocimientos generales en 57 materias que sirve de protección frente al olvido. El ajuste fino con código puede sobrescribir las capacidades generales del modelo, y el MMLU antes y después muestra qué ha habido que sacrificar.

En el gráfico de radar, el modelo base es débil de forma sostenida, LoRA mejora de manera notable y el FFT llega más lejos en todos los ejes, sobre todo en BLEU y ROUGE-2. Según los autores, esto indica no una ventaja en una sola métrica, sino un efecto general de la optimización de rango completo.

Qué hacer con esto en la práctica

El servicio permite probar variantes con rapidez. En poco tiempo, el equipo realizó decenas de experimentos con los modelos Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B y Gemma-4-26B, variando la tasa de aprendizaje, el tamaño del batch, la proporción de calentamiento (warmup), el número de épocas y el tamaño del dataset. Cada ejecución, desde el lanzamiento hasta los resultados, tardaba varias horas, y los modelos resultantes se guardaban automáticamente en SageMaker Model Registry como paquetes versionados.

Cambiar de un método a otro en el SDK de Python requiere un único ajuste: en SFTTrainer, el parámetro TrainingType.FULL se sustituye por TrainingType.LORA, y el resto del código sigue igual. En el ejemplo de FFT se indican una tasa de aprendizaje de 2e-5, un batch global de 8, dos épocas y una proporción de calentamiento de 0,1. Son valores de partida, no una receta universal.

La tasa de aprendizaje es especialmente importante en el FFT: determina cuánto se actualiza cada peso. A diferencia de LoRA, donde solo cambian pequeños adaptadores, un valor demasiado alto en el ajuste fino completo borra de forma irreversible los conocimientos preentrenados. Por eso, además de la métrica objetivo, conviene vigilar el MMLU.

La conclusión para el lector es esta. Si hay pocos datos o la tarea es acotada, LoRA sigue siendo un punto de partida más barato y seguro. Si dispone de un dataset grande y de calidad, una tarea compleja y LoRA ha topado con su techo, merece la pena probar el FFT. Una salvedad: el blog lo ha escrito la propia AWS y los resultados proceden de una sola tarea, la generación de código. En otros dominios habrá que volver a comprobar las cifras.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre En qué se diferencia el FFT de LoRA?

Las empresas necesitan el ajuste fino por dos motivos. Primero, el modelo resuelve con más precisión una tarea concreta. Segundo, un modelo pequeño y especializado puede igualar o superar a uno grande y generalista en esa tarea, con un coste por token mucho menor. Con millones de peticiones, esa diferencia se acumula. LoRA congela los pesos del modelo preentrenado y añade pares de pequeñas matrices de rango bajo. Para adaptaciones sencillas basta.

Cómo se hizo la prueba?

AWS tomó el modelo base Qwen3-4B y el dataset Magicoder-Evol-Instruct-110K: 110 mil pares «instrucción — respuesta» sobre algoritmos, depuración, estructuras de datos y programación de sistemas. Los dividió en proporción 90/5/5: 99 mil registros para entrenamiento, 5,5 mil para validación y otros 5,5 mil como conjunto de test reservado. Ambos métodos recibieron los mismos prompts, las mismas referencias y el mismo código de evaluación.

¿Qué se sabe sobre Qué hacer con esto en la práctica?

El servicio permite probar variantes con rapidez. En poco tiempo, el equipo realizó decenas de experimentos con los modelos Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B y Gemma-4-26B, variando la tasa de aprendizaje, el tamaño del batch, la proporción de calentamiento (warmup), el número de épocas y el tamaño del dataset. Cada ejecución, desde el lanzamiento hasta los resultados, tardaba varias horas, y los modelos resultantes se guardaban automáticamente en SageMaker Model Registry como paquetes versionados.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…