AWS muestra cómo ajustar Amazon Nova con el Nova Forge SDK y SageMaker Jobs

AWS ha presentado un escenario práctico para personalizar modelos Amazon Nova con el Nova Forge SDK y Amazon SageMaker AI. En la guía, el equipo recorre todo el ciclo: desde la evaluación base del modelo hasta SFT, RFT y el lanzamiento de un endpoint propio de inferencia.

Escenario y datos

AWS presenta el Nova Forge SDK como una capa que elimina la parte más tediosa de la personalización de LLM: preparar la infraestructura, elegir imágenes, validar configuraciones y lanzar recetas de entrenamiento. En lugar de montar el pipeline a mano, el desarrollador obtiene componentes listos para cargar el dataset, convertir su formato, iniciar un job en SageMaker y evaluar después el resultado.

El artículo lo demuestra no con un ejemplo de juguete, sino con una tarea aplicada clara: clasificar automáticamente la calidad de las preguntas de Stack Overflow.

Para el experimento, AWS tomó el dataset Stack Overflow Question Quality, con 60 mil preguntas de 2016–2020, y seleccionó al azar 4700 registros. El modelo debía asignar cada pregunta a una de tres categorías: HQ, LQ_EDIT o LQ_CLOSE. Se destinaron 3500 ejemplos a SFT y 500 a evaluación. Para RFT se usaron otros 700 ejemplos especializados, complementados con los 3500 registros de SFT para que el modelo no perdiera el formato de respuesta ya aprendido.

Cómo fue el entrenamiento

El experimento tiene cuatro pasos: evaluación base de Nova 2.0 preentrenado, después supervised fine-tuning, luego reinforcement fine-tuning y, al final, despliegue en Amazon SageMaker AI Inference.

AWS usa la clase `CSVDatasetLoader` para cargar CSV, comprobar el esquema y transformar los datos, y `SMTJRuntimeManager` para lanzar el cómputo. El SFT del ejemplo se ejecuta en cuatro instancias ml.p5.48xlarge, y el SDK puede validar de antemano la compatibilidad del entorno y los parámetros, para que los errores no aparezcan solo después de iniciar el job.

• El baseline muestra cómo se comporta el modelo sin ajuste
• SFT enseña el formato correcto y el patrón de respuesta propio del dominio
• RFT afina la solución mediante una función de recompensa
• El despliegue puede hacerse en Bedrock o en SageMaker

Para RFT, AWS añadió una función de recompensa sencilla mediante Lambda: +1 por la clase correcta y -1 por la incorrecta. El ajuste se lanzó sobre el checkpoint de SFT en dos instancias ml.p5.48xlarge, y la ejecución fue corta: solo 40 pasos. Además, el equipo limitó la longitud de salida e introdujo una penalización KL para que el modelo no se alejara demasiado del comportamiento fijado en SFT.

Es decir, el SDK actúa aquí no solo como envoltorio para lanzar jobs, sino como punto único para preparar datos, entrenar, consultar logs y desplegar.

Qué mostraron las métricas

Lo más útil del artículo son las cifras. Nova 2.0 base logró solo un 13% de exact match en una tarea de tres clases, donde adivinar al azar daría cerca de un 33,3%. Incluso ignorando la verbosidad y extrayendo solo la etiqueta de clase del texto, la precisión fue de 52,2%. AWS lo atribuye a dos problemas: el modelo escribía con demasiada facilidad explicaciones largas en lugar de una sola etiqueta y tenía un sesgo hacia responder HQ con independencia de la calidad real de la pregunta.

Tras un SFT corto, el exact match subió a 77,2% y la precisión de clasificación sobre etiquetas extraídas a 79,0%. La siguiente capa, RFT, añadió algo más: el exact match llegó a 78,8%, quasi-EM a 80,6% y F1 a 78,8%. La mejora tras la etapa de refuerzo no es enorme, pero es estable en casi todas las métricas clave.

AWS señala además que BLEU resulta casi inútil para esta tarea: cuando el modelo responde con un solo token como HQ o LQ_CLOSE, importan más el exact match y el F1 que el solapamiento de n-gramas.

Qué significa

AWS no intenta vender solo otro modelo, sino un camino más corto para adaptarlo a usos concretos. Si el Nova Forge SDK realmente cubre validación, lanzamiento, monitorización y despliegue en una sola interfaz, a los equipos les será más fácil probar hipótesis con datasets de nicho sin una odisea de MLOps en cada iteración.