Tencent lanza Youtu-Parsing-Omni: un solo modelo analiza documentos, audio y video

Tencent ha lanzado Youtu-Parsing-Omni, un «parser para todos los casos»: el modelo lee páginas de documentos, fotografías, audio y video, y los convierte en un registro estructurado. En ese registro, cada fragmento tiene coordenadas en la imagen o un intervalo temporal. Ese registro funciona como capa de percepción para agentes de IA. El agente convierte la entrada en texto una sola vez y, a partir de ahí, cualquier modelo de lenguaje, incluso uno sin visión ni audición, trabaja con ese texto y cita una región o un intervalo concretos como prueba. El código y los pesos están disponibles en abierto.

Por qué los agentes necesitan la entrada ya analizada

Los agentes basados en LLM recurren cada vez más a datos ajenos a su propia memoria: buscan fuentes, llaman a herramientas y controlan el ordenador a través de la pantalla. Esos datos rara vez llegan como texto limpio. Lo habitual son PDF, capturas de pantalla, grabaciones de llamadas y videos.

Si se entregan píxeles y sonido en bruto al modelo principal del agente, surgen dos problemas:

• cada vez que vuelve al material, el modelo debe codificar de nuevo largas secuencias de tokens visuales y de audio; • una respuesta obtenida a partir de píxeles o de la forma de onda no indica por sí misma qué fragmento la respalda.

Parsing-Omni analiza la entrada una sola vez. Después, el agente trabaja con el registro de texto y puede comprobar cada afirmación mediante su ancla.

Las soluciones existentes cubren esta tarea solo en parte. Los parsers de documentos funcionan bien con páginas corrientes, pero suelen dejar las estructuras químicas y las partituras en manos de modelos especializados y de alcance reducido. Los modelos multimodales están afinados para describir imágenes y responder preguntas, no para producir una salida estructurada con referencias. Para cada tipo de entrada hay que mantener modelos distintos, con formatos de respuesta distintos.

Un codificador en lugar de dos torres

En los parsers omni existentes, incluido Logics-Parsing-Omni, dos codificadores entrenados por separado procesan los píxeles y el sonido. Sus flujos se encuentran por primera vez dentro del modelo de lenguaje. De ahí surgen tres problemas: el fotograma y el sonido de un mismo instante no se relacionan durante la percepción, los dos codificadores llevan una cuenta del tiempo independiente, y cada nueva modalidad exige una torre nueva con su propio preentrenamiento.

Youtu-Omni-Encoder se plantea de otra forma:

• un único transformer con atención bidireccional para todas las modalidades, inicializado con los pesos de un modelo de lenguaje textual preentrenado para leer mejor el texto en las imágenes; • cada modalidad tiene solo «ramas» de entrada ligeras y proyectores de salida. Las imágenes y los fotogramas se dividen en parches con una única transformación lineal, y el audio se convierte en un espectrograma log-mel seguido de varias convoluciones de compresión; • el decodificador es un modelo de texto denso, entrenado con la receta de Youtu-LLM-2B. Solo genera texto.

Con este esquema, una nueva modalidad requiere una nueva «rama» y un proyector, no una segunda torre. Aun así, habrá que reentrenar los pesos compartidos con la nueva entrada.

Cómo se alinean fotograma y sonido en el tiempo

El codificador usa un sistema de posiciones unificado. El rango de frecuencias de las posiciones rotatorias (RoPE) se divide en segmentos para el ancho, el alto y el tiempo. Tanto el fotograma como el token de audio reciben una posición en una escala temporal común.

Una escala común no basta: también hace falta interacción. Por eso, parte de las capas funcionan como capas de fusión. Los fotogramas y los fragmentos de audio del video se empaquetan en orden cronológico, y en cada frontera «audio → fotograma» comienza una nueva ventana de atención. Así, el fotograma ve el sonido de su mismo instante. De este modo, «qué palabras suenan mientras en pantalla aparece esta diapositiva» se calcula en la fase de percepción, y el decodificador no tiene que reconstruirlo a posteriori.

En las demás capas, cada fotograma y cada fragmento de audio tienen su propia ventana. Ambos modos usan los mismos pesos. Durante el entrenamiento, el video pasa por la fusión con una probabilidad determinada, de modo que en la inferencia funcionan ambas rutas.

Un esquema único y autoaprendizaje con sus propias respuestas

El formato de salida común se llama OmniSchema. Es un JSON con tres campos obligatorios: una lista de unidades localizadas con su contenido, una descripción global de la entrada y campos de servicio. En las imágenes, la unidad es un elemento con un recuadro en coordenadas normalizadas; en audio y video, es un segmento con inicio y fin (con precisión de segundo) y un identificador de hablante único para toda la entrada. El esquema abarca 10 tareas y tres tipos de entrada: imágenes (páginas y fotos corrientes), audio y video.

El formato único permitió aplicar un solo procedimiento de ajuste posterior, OSAD (OmniSchema-Aware On-Policy Distillation). Tras el entrenamiento habitual con referencias y el entrenamiento con recompensa verificable, el modelo aprende de sus propios análisis. El «profesor» es una copia congelada del propio modelo, a la que además se le muestra la respuesta de referencia. Ese profesor aporta distribuciones objetivo para cada token. Los tokens se dividen por roles, contenido o estructura, y para cada rol se usa una función de pérdida distinta. Tras cada ronda, el modelo entrenado pasa a ser el nuevo profesor. No hacen falta ni una función de recompensa manual ni un modelo profesor aparte.

Resultados

Un único checkpoint cubre las 10 tareas. Los autores afirman lo siguiente:

• el mejor resultado en OmniDocBench v1.6, el benchmark de análisis de páginas de documentos; • el primer puesto entre los modelos abiertos en OmniParsingBench, que evalúa el análisis de imágenes, audio y video. El modelo superó a Logics-Parsing-Omni, y la mayor diferencia se dio en audio y video; • la mejor puntuación global en el análisis de gráficos; • la mayor proporción de coincidencias exactas de «huellas» químicas de moléculas (métrica [email protected]) entre los sistemas comparados, incluido DeepSeek-OCR 2; • en la transcripción símbolo a símbolo de partituras impresas, el modelo está al nivel de LEGATO, un sistema especializado, y supera con claridad a los sistemas generalistas.

Para los ingenieros, la conclusión es esta: en lugar de un conjunto de modelos de OCR, ASR y video con formatos distintos, se puede mantener un único parser con referencias verificables a la fuente. Para las empresas, es un camino hacia agentes que analicen contratos, grabaciones de reuniones y videos, y que muestren de dónde procede cada afirmación. Todas las cifras proceden de los propios autores y todavía no hay mediciones independientes.