Microsoft y Hugging Face entrenan Qwen3.8-27B con evaluaciones de la base de datos: de 38 a 107 tareas

El equipo de Microsoft, junto con Hugging Face, ha publicado ThinkingBox-Training, la continuación del benchmark que pilla a los agentes que informan de éxito cuando han escrito mal en la base de datos. La idea es sencilla: si la comprobación del estado final de la BD devuelve 1 o 0, ya se dispone de una función de recompensa. Tras 50 pasos de GRPO, Qwen3.8-27B elevó su éxito medio (pass@1) de 51,70% a 60,78%, y el número de tareas resueltas en los veinte intentos pasó de 38 a 107, es decir, de 7,5% a 21,1% de las 507 tareas de ThinkingBox-Bench.

Recompensa a partir del estado de la base de datos, no del texto de la respuesta

Cada tarea de ThinkingBox levanta un backend real, entrega al agente un conjunto de herramientas MCP y un usuario simulado con contexto cerrado. Al final, unas comprobaciones ejecutables revisan qué registros hay en la base de datos. La secuencia de llamadas no se evalúa, de modo que el modelo puede encontrar un camino que no figura en el etiquetado de referencia. La mayor parte de las recompensas es determinista, y una pequeña fracción de rúbricas estrechas se deja en manos del juez GPT-5 Chat.

Un ejemplo ilustrativo es la reserva corporativa de un hotel. Un empleado necesita una habitación de categoría inferior, pero la política exige la aprobación de un gerente. El modelo base modificaba la reserva y emitía reembolsos sin autorización en 15 de 20 intentos. Tras el RL, en los 20 intentos la reserva y el estado de los pagos quedaron intactos, y todos los registros esperados coincidieron en 19.

Por qué la selección de tareas importa más que el optimizador

GRPO tiene una limitación aritmética. Si los 8 rollouts fallan ([0,0,0,0,0,0,0,0]) o todos aciertan, el centrado dentro del grupo anula la ventaja y no hay gradiente. Hacen falta grupos mixtos como [0,0,0,1,1,1,1,1]. Para un agente con estado, esos grupos vacíos salen caros: cada rollout requiere un backend aislado, una sesión MCP activa y un modelo aparte para el papel de usuario.

Los autores introdujeron una dificultad offline relativa a la política (policy-relative difficulty). La probabilidad de éxito de cada tarea candidata se estima una sola vez con la política base, y después el pool se congela durante toda la ejecución. Deliberadamente no volvieron a sondear la dificultad durante el entrenamiento. Ninguna tarea de ThinkingBox-Bench entró en el entrenamiento. Los dominios, las bases de datos, las políticas y la mayoría de las herramientas del test son nuevos, aunque el marco general, el simulador de usuario y el estilo de las tareas coinciden, lo que limita la solidez de las conclusiones sobre transferencia.

Configuración de la ejecución de referencia: RL de parámetros completos sobre 187 tareas, GRPO con token-mean, 18 grupos de 8 rollouts, es decir, 144 episodios por paso, en 24 H100. El entrenamiento es síncrono, con offloading de parámetros y del optimizador, AdamW, lr 1e-6 y weight decay cero. Los grupos con varianza cero se sustituyeron según el esquema de DAPO. Los errores del sistema, como el timeout del backend, no se contaron como fallo del agente: se regeneró el grupo. El código que interpreta las salidas de Qwen es común al entrenamiento y a la evaluación (trainer/core/tb_interpret.py); de lo contrario, la recompensa mediría a otro agente.

Tabla: éxito medio frente a repetibilidad

Pass@1 sobre las 507 tareas y número de tareas con 20/20:

• Claude Opus 5.5 — 67,16%, 241 tareas (47,53%) • Claude Opus 5 — 66,50%, 241 (47,53%) • GPT-5.4 — 65,36%, 128 (25,25%) • GPT-5.6 Sol — 61,91%, 82 (16,17%) • Qwen3.8-27B tras RL — 60,78%, 107 (21,10%) • Claude Sonnet 4.6 — 59,19%, 102 (20,12%) • GPT-6 Astra — 58,31%, 231 (45,56%) • Kimi-K3 — 57,37%, 68 (13,41%) • Qwen3.8-27B base — 51,70%, 38 (7,50%)

GPT-5.6 Sol queda por encima en pass@1, pero resuelve de forma estable 25 tareas menos. Opus 5.5 supera a Opus 5 en la media por 0,66 pp, pero en fiabilidad están empatados. Pass@1 y 20/20 mejoraron en los cinco dominios, y el mayor avance en 20/20 corresponde a retail (+24,5 pp). Pass@20 cayó de 453 a 446 tareas: subió en neobanca y consultoría, y bajó en retail, viajes y seguros de automóvil (en este último, −7,0 pp). Los autores lo describen como sharpening: la distribución se desplaza hacia trayectorias que funcionan siempre, y los caminos poco frecuentes desaparecen.

Economía de la tarea fiable

El coste de la campaña de 507×20 bajó de $925,80 a $855,58 (−7,6%), y el precio de un intento exitoso, de $0,177 a $0,139 (−21,4%). La métrica «coste por tarea resuelta de forma fiable» (coste de la campaña dividido por el número de tareas con 20/20) se redujo de $24,36 a $8,00 (−67,2%). A modo de comparación: GPT-5.4, $6,80; GPT-6 Astra, $7,45; Claude Opus 5.5, $7,80. Es un índice comparativo del coste de servicio, no una factura de la nube. Incluye la inferencia, pero no el entrenamiento ni el sondeo de tareas, y el tamaño del modelo en el despliegue sigue siendo el mismo.

Para los equipos que construyen agentes sobre bases de datos de producción, la conclusión es práctica. Si se dispone de un verificador de estado ejecutable, sirve tanto de métrica como de recompensa. Hay que empezar por la selección de tareas: las que el modelo resuelve siempre o nunca consumen horas de GPU y backends en balde. Conviene evaluar por 20/20, no por pass@1. Y si importa la cobertura de escenarios poco frecuentes, hay que tener en cuenta el precio: la repetibilidad se pagó con una parte de pass@20.