DeCert enseña a los jueces de IA a explicar sus veredictos: 76,2 en RM-Bench con un modelo de 8B

Un reward model generativo es un LLM que compara dos respuestas, explica con palabras cuál es mejor y emite un veredicto. Estos modelos jueces son la base de los pipelines de RLHF y de la evaluación automática. Tienen un punto débil: un veredicto correcto no implica un razonamiento correcto.

El modelo puede haber acertado por azar, haberse apoyado en un detalle irrelevante o haber escrito una justificación que ni siquiera conduce a su conclusión. El equipo formado por Guiquan Sun, Bing Bai, Martin Renqiang Min y Dongjin Song propone DeCert, un framework que entrena a los jueces para escribir justificaciones convincentes, y lo hace sin explicaciones de referencia. El modelo de 8B DeCert-Qwen3-8B obtiene 76,2 en RM-Bench y 52,0 en JudgeBench.

Por qué un veredicto correcto es una etiqueta débil para entrenar

El esquema estándar para entrenar un juez es sencillo: se muestrean varios juicios y se recompensan aquellos cuyo veredicto coincide con la anotación. Pero dos juicios con el mismo veredicto correcto pueden diferir mucho en calidad. Uno analiza los hechos y la lógica de la respuesta; el otro suelta frases genéricas. Para el esquema clásico son equivalentes, así que el modelo no recibe ninguna señal de que uno sea mejor que el otro.

Algunos enfoques existentes resuelven esto con explicaciones de referencia: comparan la justificación del juez con un patrón de referencia. Los autores señalan dos problemas. Obtener esas referencias es caro. Además, que una justificación coincida con la referencia no demuestra que la justificación generada respalde realmente el veredicto emitido.

Cómo evalúa DeCert el «certificado de decisión»

DeCert examina la propia justificación: cuán válida es y cuán coherente resulta con el veredicto. Esas valoraciones se convierten en una señal de entrenamiento basada en preferencias, que tiene en cuenta tanto la corrección del veredicto como la calidad de la argumentación. La justificación se evalúa según tres ejes:

• soundness: corrección y solidez de los argumentos presentados;
• coverage: exhaustividad, es decir, si se han considerado los aspectos relevantes de las respuestas comparadas;
• decision support: si la justificación conduce realmente al veredicto emitido.

La clave está en el caso en que varias muestras dan el mismo veredicto correcto. Antes había que tratarlas como equivalentes. Ahora, la diferencia de calidad del «certificado» permite construir pares de preferencias a nivel de justificación: una sólida frente a otra débil. El modelo aprende a distinguir una explicación bien fundamentada de otra formalmente correcta pero vacía.

Resultados y robustez frente al orden de las respuestas

El método se probó en dos familias de modelos de 8B y en varios benchmarks, tanto in-distribution como out-of-distribution. Según los autores, DeCert supera de forma consistente a jueces generativos de referencia potentes y, al mismo tiempo, mejora la calidad de las justificaciones. Principales resultados:

• DeCert-Qwen3-8B: 76,2 en RM-Bench;
• DeCert-Qwen3-8B: 52,0 en JudgeBench;
• aumento de la position-consistent accuracy de hasta +14,8 puntos;
• mejora en tres indicadores: precisión de los juicios, calidad de las justificaciones y robustez posicional.

La última métrica merece atención aparte. El sesgo posicional es un mal conocido de los jueces basados en LLM: el veredicto depende del lugar en que se presenta la respuesta, no de su calidad. La position-consistent accuracy solo cuenta un acierto si el modelo elige la respuesta correcta con ambos órdenes de presentación. Un aumento de hasta 14,8 puntos indica que exigir calidad en la justificación también reduce este tipo de artefactos. Un juez obligado a explicar por qué una respuesta es mejor se apoya menos a menudo en una señal aleatoria como la posición.

Qué se puede aplicar en la práctica

El código está publicado en GitHub, en el repositorio UConn-DSIS/DeCert, y el artículo está disponible en arXiv con el número 2610.27528. Para los equipos que construyen sistemas LLM-as-a-judge o entrenan reward models para RLHF y RLAIF, la idea es directamente aplicable.

Si el juez debe entregar no solo puntuaciones, sino también explicaciones legibles (para auditar datasets, depurar agentes o anotar datos), conviene fijar en el entrenamiento un objetivo específico de calidad del razonamiento en lugar de limitarse a la coincidencia del veredicto. Al muestrear varios juicios por ejemplo, también resulta útil analizar aquellos en los que los veredictos coinciden: ahí se esconde la señal sobre la calidad del razonamiento. Además, conviene medir la position-consistent accuracy y no solo la precisión habitual, porque indica cuánta confianza se puede depositar en el juez.

Las limitaciones también son visibles: los modelos de los autores son pequeños, de 8B, y la escalabilidad del enfoque queda por comprobar. Pero la posibilidad de mejorar los jueces sin costosas explicaciones de referencia hace que el método resulte interesante para quien busque evaluaciones fiables y explicables de las respuestas de los LLM.