Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarAWS Machine Learning Blog→ original

AWS permite escribir tu propio ciclo de ajuste fino de modelos sin gestionar GPUs

Ajustar modelos abiertos a tu negocio es complicado: hay que elegir la técnica, levantar clústeres de GPUs y conectar a mano el entrenamiento con la generación de respuestas. AWS ha hecho disponibles de forma general las training sessions de SageMaker AI: tú escribes el ciclo de entrenamiento, la función de recompensa y tu propia pérdida, y el servicio gestiona las GPUs, el lanzamiento distribuido y los checkpoints. Son compatibles gpt-oss-20b, gemma-4-31B-it y dos modelos Qwen de 27B. Para los equipos que trabajan con agentes, es una forma de probar RL sin infraestructura propia.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AWS permite escribir tu propio ciclo de ajuste fino de modelos sin gestionar GPUs
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1Pagas por tokens mientras tu recompensa se calcula, y el contador no corre
Dato clave #2Disponibles gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B y Qwen3.8-27B
Dato clave #3Los datos y los checkpoints están en tu S3, y AWS no entrena con ellos

Las empresas que obtienen resultados reales con la IA rara vez usan el modelo base tal cual. Ajustan modelos abiertos con sus propios datos: catálogos de productos, terminología médica, procesos internos. Un modelo así resuelve mejor una tarea concreta y sale más barato de operar. Pero el proceso sigue siendo arduo: hay que elegir el método, alquilar y configurar GPUs y, en el caso de los agentes, además construir un entorno para el aprendizaje por refuerzo de varios pasos. AWS quiere quitar parte de ese dolor: el servicio training sessions de Amazon SageMaker AI ya está disponible de forma general.

Qué se ha lanzado

Hasta ahora, en la personalización serverless de SageMaker elegías una técnica predefinida, como SFT, DPO, RLVR, RLAIF o RL de varios pasos. También podías cambiar la proporción de pesos actualizados (LoRA o ajuste completo) y encadenar métodos. Pero los clientes pedían más libertad: sus propias funciones de pérdida (loss), una forma de recompensa propia y varias etapas de RL dentro de un mismo ciclo.

Las training sessions ofrecen esa posibilidad. Escribes el ciclo de entrenamiento y la función de recompensa en tu propio entorno, y conectas el agente a sus herramientas o simuladores. AWS se encarga de todo el trabajo pesado en GPU: asigna la capacidad, lanza el entrenamiento distribuido, se recupera de los fallos y guarda los checkpoints. No tienes que elegir tipos de instancia ni configurar clústeres.

Cómo funciona el ciclo con GRPO

GRPO es un método de RL en el que el modelo genera varias respuestas a la misma consulta, cada respuesta se evalúa y la actualización de pesos se basa en comparar las respuestas entre sí. En las training sessions, una pasada tiene este aspecto:

  1. Tu código pide al muestreador que genere varias respuestas para cada consulta con el modelo actual.
  2. Tu función de recompensa las evalúa en tu entorno: mediante un verificador, un modelo de recompensa o un conjunto de pruebas.
  3. Las puntuaciones pasan al entrenador. La llamada a forward_backward() calcula los gradientes y optim_step() aplica la actualización a los pesos.
  4. Pides a la sesión que actualice el muestreador con los nuevos pesos y lanzas el siguiente lote.

Esto resulta cómodo para agentes que reservan viajes, clasifican tickets de soporte o realizan investigaciones de varios pasos. El resultado de este tipo de agente solo se aprecia tras varias rondas de interacción, y normalmente el entrenamiento, la generación y la evaluación viven en clústeres distintos. Aquí están integrados en un solo ciclo.

El cobro se hace por los tokens que SageMaker AI procesa. Mientras tu función de recompensa evalúa el lote en tu entorno, el contador no corre. No hace falta reservar capacidad.

Quién lo ha probado y qué pasa con los datos

AWS cita dos testimonios. ImagineSoftware desarrolla un modelo para clasificar rechazos de pagos de seguros médicos y valora el acceso directo a los pasos hacia delante y hacia atrás, al muestreo y al paso del optimizador. Karini AI ajustó gpt-oss-20b para invocar herramientas en varios pasos sobre un grafo de conocimiento de Amazon Neptune. Su CEO destacó especialmente la posibilidad de reanudar el entrenamiento desde el paso exacto. Son testimonios de socios incluidos en el comunicado de prensa; el material no incluye mediciones independientes de calidad ni de coste.

En cuanto a seguridad, la sesión se ejecuta con tu rol de IAM, puedes conectar tu propia clave KMS y tu configuración de VPC. Los datos y los checkpoints se guardan en tus buckets de S3 en la región elegida. AWS afirma que no usa tus datos ni tus pesos para entrenar otros modelos. Antes de desplegar, puedes evaluar el modelo en precisión, sesgos y seguridad, y después activar guardrails y monitorización con CloudWatch.

Por dónde empezar y qué tener en cuenta

Son compatibles gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B y Qwen3.8-27B. Hay dos formas de empezar: instalar el SDK de Python de SageMaker (Linux o macOS, Python 3.10–3.12) y clonar el cookbook, o abrir el entorno preparado en SageMaker Studio, que, según AWS, arranca en menos de 20 segundos. Allí también puedes conectar un agente de programación (Kiro, Claude Code, Codex o Copilot) con un conjunto de habilidades de personalización: te ayuda a preparar los datos, elegir la técnica, entrenar, evaluar y desplegar el modelo.

Las limitaciones son evidentes. La lista de modelos es todavía corta y se limita a un tamaño medio de hasta 31B. El ciclo lo escribes tú, así que tendrás que entender el RL y diseñar las recompensas con cuidado: el servicio elimina las preocupaciones de infraestructura, pero no la calidad de tu función de evaluación. Para los equipos que quieren probar RL con agentes sin comprar GPUs ni contratar ingenieros de clústeres, es una vía rápida para empezar a experimentar.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se ha lanzado?

Hasta ahora, en la personalización serverless de SageMaker elegías una técnica predefinida, como SFT, DPO, RLVR, RLAIF o RL de varios pasos. También podías cambiar la proporción de pesos actualizados (LoRA o ajuste completo) y encadenar métodos. Pero los clientes pedían más libertad: sus propias funciones de pérdida (loss), una forma de recompensa propia y varias etapas de RL dentro de un mismo ciclo. Las training sessions ofrecen esa posibilidad.

Cómo funciona el ciclo con GRPO?

GRPO es un método de RL en el que el modelo genera varias respuestas a la misma consulta, cada respuesta se evalúa y la actualización de pesos se basa en comparar las respuestas entre sí. En las training sessions, una pasada tiene este aspecto: Tu código pide al muestreador que genere varias respuestas para cada consulta con el modelo actual. Tu función de recompensa las evalúa en tu entorno: mediante un verificador, un modelo de recompensa o un conjunto de pruebas. Las puntuaciones pasan al entrenador.

¿Qué se sabe sobre Quién lo ha probado y qué pasa con los datos?

AWS cita dos testimonios. ImagineSoftware desarrolla un modelo para clasificar rechazos de pagos de seguros médicos y valora el acceso directo a los pasos hacia delante y hacia atrás, al muestreo y al paso del optimizador. Karini AI ajustó gpt-oss-20b para invocar herramientas en varios pasos sobre un grafo de conocimiento de Amazon Neptune. Su CEO destacó especialmente la posibilidad de reanudar el entrenamiento desde el paso exacto.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…