AWS explicó cómo afinar Amazon Nova con un LLM como juez para tareas empresariales complejas

AWS ha explicado detalladamente cómo aplicar reinforcement fine-tuning con el enfoque LLM-como-juez para los modelos Amazon Nova. En lugar de anotación manual o un conjunto de reglas codificadas, un modelo de lenguaje separado evalúa la calidad de la respuesta, y su veredicto se convierte en una señal de recompensa para el entrenamiento.

Por Qué se Necesita un Juez

Según AWS, el RFT estándar puede construirse ya sea sobre reglas verificables como coincidencia exacta de cadena, o sobre un esquema donde otro LLM evalúa la respuesta contra múltiples criterios simultáneamente. La segunda opción es necesaria cuando la calidad no puede reducirse a una única fórmula. Para tareas corporativas, lo que importa no es solo precisión factual, sino también tono, seguridad, completitud, relevancia y conformidad con políticas internas.

En este enfoque, el modelo juez no solo asigna una puntuación, sino que también ayuda a explicar por qué una respuesta es mejor que otra. AWS enfatiza que este esquema acelera las iteraciones: los equipos ven exactamente dónde falla el modelo y pueden corregir la función de recompensa más rápidamente. Esto es especialmente útil en dominios donde un error no parece un fallo obvio, sino que se manifiesta en matices de redacción, riesgo pasado por alto o razonamiento débil.

Seis Pasos para la Configuración

AWS divide la implementación de LLM-como-juez en varios pasos prácticos. Primero, debe elegir el tipo de evaluación: basada en rúbrica, donde el juez asigna una puntuación absoluta a una respuesta, o basada en preferencia, donde compara dos opciones y elige la mejor. Si no existen preferencias preestablecidas, la empresa recomienda comenzar con un enfoque de rúbrica y criterios simples de aprobado/reprobado en lugar de una escala del 1 al 10.

• Elija el modo de juicio: evaluación absoluta o comparación por pares
• Defina claramente los criterios de calidad con indicadores observables
• Seleccione un modelo juez adecuado para su dominio y presupuesto a través de Amazon Bedrock
• Exija salida JSON estructurada para que las recompensas puedan parsearse de manera confiable
• Vincule la función de recompensa con métricas de producto e implemente infraestructura Lambda estable

Se hace un énfasis especial en la infraestructura. AWS recomienda no depender solo del juez y complementarlo con controles rápidos y determinísticos: validez de JSON, longitud de respuesta, coincidencia de idioma y filtros de seguridad. Lambda de Recompensa debe manejar miles de evaluaciones por paso de entrenamiento, por lo que se recomiendan retroceso exponencial para llamadas a Bedrock, paralelización mediante ThreadPoolExecutor o patrones asíncronos, tiempos de espera de hasta 15 minutos y concurrencia aprovisionada alrededor de 100 para configuraciones típicas. Si el juez o la API fallan, es mejor devolver una recompensa neutral que romper todo el paso de entrenamiento. Además, los equipos deben mantener un conjunto de pruebas de regresión para el propio pipeline del juez.

Caso de Estudio de Contratos

Como demostración, AWS describe un proyecto con un socio del sector legal. El objetivo era analizar automáticamente nuevos contratos, compararlos con reglas internas, contratos anteriores y requisitos regulatorios, y generar JSON con comentarios, tipos de observación y acciones recomendadas. El conjunto de datos inicial era pequeño y contenía contratos anotados por expertos, por lo que el fine-tuning supervisado clásico produjo resultados limitados.

Para RFT, utilizaron un modelo juez separado GPT OSS 120B y un prompt de sistema personalizado. El juez verificaba si un comentario realmente se basaba en un fragmento del mismo contrato, si estaba alineado con el documento de referencia y si se podía tomar una acción basada en él. Luego envolvieron esto en una función Lambda e iniciaron el entrenamiento a través del SDK Nova Forge con múltiples generaciones por ejemplo y un límite de llamadas concurrentes de 100.

Como resultado, Amazon Nova 2 Lite después de RFT logró una puntuación agregada de 4,33 de 5 y una validación perfecta del esquema JSON, superando a Claude Sonnet 4.5 y Claude Haiku 4.5.

AWS señala por separado que las versiones de SFT presentaban artefactos como comentarios repetidos y caracteres Unicode extraños, mientras que los puntos de control RFT no. Lo más importante es que el modelo mantuvo resultados sólidos incluso después de cambiar el prompt del juez, lo que significa que aprendió no una fórmula de puntuación específica, sino patrones de calidad más generales. La desventaja también se menciona claramente: RFT requería 4–8 rollouts por ejemplo de entrenamiento y era más costoso computacionalmente.

Lo Que Esto Significa

AWS está promoviendo efectivamente RFT con LLM-como-juez como un enfoque viable para ajustar modelos a escenarios corporativos sensibles donde reglas simples son insuficientes y la anotación manual es demasiado costosa. Si el enfoque Amazon Nova realmente se escala a producción, las empresas en los sectores jurídico, financiero y de salud obtienen la capacidad de ajustar modelos a sus propios estándares mientras controlan mejor el formato de salida, la calidad y la explicabilidad.