Investigadores ejecutan 120 configuraciones de CPT para agentes de juegos: de 0,8B a 27B

El equipo de investigación planteó una pregunta directa: si se escalan los datos, la diversidad y el tamaño del modelo, ¿mejorarán los agentes en mundos virtuales que apenas tienen relación entre sí? En el mundo físico, toda la experiencia obedece a las mismas leyes, y la generalización surge de forma natural. En los juegos, cada mundo tiene su propio estilo visual, su propia dinámica, sus controles y sus objetivos. Los autores buscaron la respuesta en 120 configuraciones de continued pre-training (CPT): cuatro tamaños de modelo de 0,8B a 27B, seis presupuestos de datos de 50 a 1 600 horas y cinco composiciones de corpus, desde solo Minecraft hasta un conjunto de mundos distintos.

Tres ejes y tres niveles de evaluación

El diseño del experimento importa más que cualquier cifra aislada. Los autores variaron tres factores de forma independiente: volumen de datos, diversidad y tamaño del modelo. Midieron la calidad en tres niveles de pérdida de validación y en benchmarks de juegos: primero, los mundos del propio corpus de entrenamiento; después, los emparentados con ellos; por último, los que el modelo no había visto en absoluto. Así se ve con precisión dónde termina la transferencia de habilidades.

Principales métricas y parámetros del estudio:

• 120 configuraciones de entrenamiento;
• tamaños de modelo: de 0,8B a 27B parámetros;
• presupuestos de datos: de 50 a 1 600 horas;
• cinco mezclas: desde solo Minecraft hasta corpus multimundo heterogéneos;
• evaluación por pérdida (loss) y por benchmarks de gameplay en tres zonas: mundos conocidos, emparentados y desconocidos.

Qué aporta cada eje

El panorama resultó irregular. Más datos mejoran el resultado dentro del corpus, algo esperable. La diversidad ayuda a transferir a mundos emparentados, pero en los juegos lejanos la ganancia sigue siendo pequeña. El tamaño del modelo aumenta la eficiencia en el uso de datos: un modelo grande extrae más provecho de las mismas horas de gameplay. Sin embargo, si se entrena con un solo mundo, generaliza peor en los mundos lejanos. Un modelo grande entrenado de forma estrecha se ajusta más a fondo a su propio mundo.

Es una observación práctica. Escalar sin diversidad puede reforzar la especialización en lugar de la universalidad. Para los equipos que montan datasets para agentes, es un argumento para calcular el presupuesto no solo en horas, sino también en número de mundos distintos.

Dos fases de entrenamiento

Lo más interesante del artículo es la dinámica del entrenamiento. Los autores distinguen una fase temprana «de interfaz», en la que el beneficio se extiende ampliamente a mundos diversos. El modelo aprende lo básico: cómo leer la pantalla, cómo se relacionan las observaciones con las acciones y cómo funcionan los controles. Después llega la fase «de mundo», en la que las mejoras se reducen a los mundos del corpus y a los emparentados. El modelo empieza a memorizar cómo están construidos mundos concretos, y eso ya casi no se transfiere a los lejanos.

Sobre esta base, los autores ajustaron una ley de escalado empírica. Esta relaciona la pérdida de validación con el volumen de datos, la diversidad y el tamaño del modelo, y permite estimar el efecto antes de lanzar un entrenamiento costoso. Eso sí, la ley describe la pérdida, no el éxito en el juego, y la brecha entre ambos sigue siendo un problema aparte.

Comparación con especialistas y límites de la imitación

Según los benchmarks finales, los modelos son competitivos con los especialistas en Minecraft y con los modelos frontier en mundos 3D. Donde mejor rinden es en tiempo real. Ahí cuenta la velocidad de reacción, y un modelo compacto entrenado con demostraciones de juego no pierde tiempo en razonamientos largos.

Los propios autores señalan las limitaciones. El entrenamiento con demostraciones choca con el techo de la imitación: el modelo repite lo que ha visto, pero no descubre estrategias nuevas. En los mundos lejanos, la brecha se mantiene en todas las escalas estudiadas. La conclusión del artículo es directa: los agentes corpóreos universales necesitan etapas de entrenamiento más ricas después del CPT.

Qué llevarse al trabajo

Para quienes desarrollan agentes, las conclusiones son estas. Si el objetivo es un jugador fuerte en un juego concreto o en una familia de juegos similares, basta con aumentar los datos y el modelo dentro de esa familia. Si se necesita transferencia a mundos nuevos, hay que incluir juegos heterogéneos en el corpus y no esperar que el tamaño del modelo resuelva el problema por sí solo. La fase temprana de interfaz puede servir como arranque barato, pero después hay que comprobar el beneficio en mundos desconocidos y no solo por la pérdida. Para una generalización real, el siguiente paso parece ser el aprendizaje por refuerzo u otras etapas de posentrenamiento que vayan más allá de la imitación.