Kling revela como ensena a un modelo de video a obedecer al director: dos jueces y un Prompt Enhancer inteligente

Es un problema conocido para cualquiera que haya intentado controlar un generador de video: escribes “hazlo como aqui” y recibes un fondo distinto, una luz adicional y un personaje con la mano deformada. El equipo de Kling ha publicado un preprint que explica en detalle como intenta resolver este problema. La conclusion es inesperada: los pixeles ya no son el principal cuello de botella. Lo importante es hasta que punto el modelo entiende lo que se le pide.

Anotaciones como una hoja de montaje

La primera capa de la solucion son los datos. Los pies de video convencionales, como “un hombre corre”, obligan al modelo de difusion a inventar detalles al azar. El articulo analiza un clip de 18 segundos en el que una descripcion estandar confundio un corte brusco con una transicion suave y no detecto que una frase comenzaba antes de que apareciera el personaje. Si esos detalles se pierden en los textos de entrenamiento, el modelo no aprendera a controlarlos.

Por eso Kling hace que las descripciones sean lo mas densas posible: poses, materiales, angulos de camara y trayectorias de movimiento. El equipo lo denomina un “contrato semantico” entre el texto y el video. Para el modo image-to-video, tambien se vinculan partes de la imagen original con objetos de la descripcion.

Las funciones de las referencias se entrenan por separado. Se toma el rostro de la primera imagen, la chaqueta de la segunda, el movimiento de camara del video y nada mas. Sin una vinculacion explicita, “hazlo como aqui” se convierte en “copia tambien el fondo y la iluminacion”.

Un Prompt Enhancer que ve el resultado

Los usuarios escriben prompts de entre tres y cinco palabras. El enhancer los traduce al lenguaje del modelo. Primero se le ensena a reescribir las solicitudes como descripciones detalladas. Despues se crean varias versiones del prompt para una misma solicitud, se generan videos y se evalua el resultado. La recompensa depende de la calidad del video, no de la elegancia del texto.

Tambien hay un efecto secundario reconocido abiertamente. El resultado se volvio mas estable, pero las variantes mas expresivas salieron perjudicadas. Si el juez penaliza los artefactos, resulta mas rentable elegir un movimiento de camara seguro que el modelo ya domine. Es el dilema clasico: al optimizar la fiabilidad, se pierde fuerza expresiva.

Dos jueces y las lecciones del experimento

Kling utiliza dos evaluadores. El primero explica donde y que ha salido mal: dedos borrosos, luces que parpadean. El segundo asigna rapidamente puntuaciones al movimiento, la calidad de imagen y la correspondencia con el prompt; es precisamente el que se necesita para el aprendizaje por refuerzo a gran escala. El juez debe ver suficientes fotogramas, o pasara por alto un defecto que dure solo una fraccion de segundo.

Otra conclusion interesante es que conectar un modelo de lenguaje mas “inteligente” como codificador de texto del modelo de video no mejora los resultados. El codificador necesita entrenamiento perceptivo en relaciones espaciales, optica y composicion, no tareas de logica. El componente multimodal de Kling-MLLM se inicializo a partir de la familia Qwen y se complemento con procesamiento de audio. El video, por su parte, lo genera un modelo independiente.

Como llevarlo a la practica

El articulo deja varias conclusiones para desarrolladores y equipos de producto que construyen soluciones basadas en generacion de video.

En primer lugar, si ajustas o evaluas modelos de video, la calidad de las anotaciones importa mas que el tamano del modelo. Las descripciones densas con una estructura de montaje ofrecen un nivel de control que no existe en los pies de video breves.

En segundo lugar, si creas una interfaz con varias referencias, permite que el usuario indique de forma explicita que debe tomarse de cada una. Es posible ensenarle esto al modelo, pero la interfaz tambien debe expresar la intencion.

En tercer lugar, vigila el modelo de recompensa. Cualquier juez desplaza la generacion hacia opciones seguras y, si solo optimizas la ausencia de artefactos, obtendras videos aburridos. Hace falta equilibrar las metricas: movimiento, imagen, correspondencia con el prompt y, por separado, expresividad.

Por ultimo, separa la comprension del renderizado. En la practica, Kling esta construyendo todo un sistema alrededor del generador: un anotador, un enhancer y varios jueces. Para la industria, esto es una senal de que la ventaja competitiva de los modelos de video se esta desplazando del tamano del transformer de difusion hacia la calidad de los datos y de la retroalimentacion.

La limitacion es evidente: se trata de un preprint del propio equipo, no hay mediciones independientes y no se desglosa la proporcion del efecto atribuible a cada componente. Aun asi, el texto resulta util como mapa de la direccion que esta tomando la generacion de video.