AWS explica cómo lanzar reinforcement fine-tuning en Amazon Bedrock con APIs compatibles con OpenAI

AWS ha publicado una guía detallada sobre cómo ejecutar reinforcement fine-tuning en Amazon Bedrock a través de APIs compatibles con OpenAI. En esencia, la empresa propone una ruta que los desarrolladores ya conocen: el mismo SDK de OpenAI, pero con Bedrock como plataforma de entrenamiento, evaluación e inferencia.

Cómo funciona el proceso

El reinforcement fine-tuning (RFT) se usa cuando no basta con mostrar al modelo las respuestas correctas, como en el supervised fine-tuning clásico. Aquí el modelo genera varias respuestas para un mismo prompt y una función de recompensa independiente asigna a cada una una puntuación numérica. Amazon Bedrock toma esa señal y ejecuta por sí mismo el ciclo de optimización con el algoritmo GRPO. Para un equipo, esto significa que no hace falta montar una infraestructura pesada de reinforcement learning: el servicio se encarga de la orquestación, el paralelismo, los checkpoints y las métricas.

En el walkthrough práctico, AWS muestra que ha hecho la entrada lo más parecida posible al stack habitual de OpenAI. Al desarrollador le basta con apuntar `OPENAI_BASE_URL` al endpoint regional de Bedrock Mantle y pasar la `OPENAI_API_KEY` generada para Bedrock. Después se pueden usar las mismas llamadas: `client.files.create()`, `client.fine_tuning.jobs.create()` y `client.chat.completions.create()`. Es decir, la barrera no es un SDK nuevo, sino lo bien que hayas formalizado el criterio de calidad de la respuesta.

Datos y función de recompensa

En su ejemplo, AWS usa el dataset GSM8K de problemas de matemáticas de primaria. Los datos se suben mediante la Files API en formato JSONL: cada línea tiene un bloque `messages` y, en las tareas verificables, se añade `reference_answer`. Este formato permite no solo enviar la pregunta al modelo, sino también guardar una respuesta de referencia o una regla de comprobación. El walkthrough muestra además que el prompt puede estructurarse de antemano para que la respuesta final sea fácil de extraer automáticamente, por ejemplo con un formato especial como `\boxed{}` o tras un marcador `####`.

La pieza clave de todo el esquema es la función de recompensa en AWS Lambda. En la demostración, recibe las trayectorias, localiza la última respuesta del asistente, extrae la respuesta correcta de `reference_answer` y devuelve una puntuación de 0 a 1. En matemáticas es una comprobación binaria simple, pero la lógica no se limita a estos casos. AWS subraya que dentro de Lambda se pueden incorporar reglas propias y que, para tareas menos formalizables, se puede usar un enfoque de model-as-a-judge. Hay además un punto importante para las empresas: durante el proceso, los datos no salen del entorno protegido de AWS y no se usan para entrenar modelos de Bedrock.

Entrenamiento y lanzamiento

Lanzar el entrenamiento es bastante compacto: a `fine_tuning.jobs.create()` se le pasan el modelo base, el archivo de entrenamiento, el tipo de método `reinforcement`, el ARN del evaluador Lambda y un conjunto de hiperparámetros. El ejemplo usa `openai.gpt-oss-20b`, una época, `batch_size=4` y `learning_rate_multiplier=1.0`, aunque la documentación recomienda empezar con un valor inferior a uno para mayor estabilidad. Después, Bedrock crea el job, cuenta los pasos y guarda checkpoints intermedios, que sirven para evaluar la calidad antes de que termine el entrenamiento.

Durante el entrenamiento, AWS sugiere mirar no solo el estado del job, sino también los eventos con métricas. En el ejemplo, el job sobre un subconjunto de GSM8K recorre 67 pasos y la curva de recompensa sube de aproximadamente 0.56 a un rango de 0.85–0.97 hacia la mitad del entrenamiento. A la vez, las respuestas se acortan, lo que los autores interpretan como señal de que el modelo aprendió a resolver los problemas con más precisión y sin rodeos innecesarios.

• `critic_rewards_mean`: la señal principal; si crece, el modelo aprende
• `actor_entropy`: indica si la diversidad de respuestas se colapsa hacia un mode collapse
• `actor_grad_norm`: ayuda a detectar inestabilidad si los gradientes empiezan a dar saltos bruscos
• `response_length_mean`: útil contra el reward hacking, cuando el modelo empieza a inflar las respuestas para mejorar la puntuación

Tras completarse el job, no hace falta desplegar el modelo por separado. Basta con obtener `fine_tuned_model` de los detalles de la tarea y llamarlo de inmediato mediante la Chat Completions API o la Responses API, incluido el streaming. Es la principal ventaja práctica del esquema: entrenamiento e inferencia permanecen en un mismo entorno de API. La documentación de Bedrock precisa además que la vía compatible con OpenAI para fine-tuning está disponible por ahora para `openai.gpt-oss-20b` y `qwen.qwen3-32b` en la región `us-west-2`.

«Sin endpoint ni hosting aparte».

Qué significa

AWS intenta claramente que el reinforcement fine-tuning deje de ser una rareza de investigación y pase a ser una herramienta de ingeniería normal. Si un equipo ya tiene código para el SDK de OpenAI y una lógica de recompensa clara, entrar en RFT resulta bastante más sencillo: se puede empezar con 100–200 ejemplos, revisar las métricas, comparar checkpoints y comprobar si el ajuste da un modelo más barato y rápido para una tarea concreta. Resulta especialmente interesante para matemáticas, código y otros escenarios en los que la calidad de la respuesta se puede verificar automáticamente.