Tencent lança o Youtu-Parsing-Omni: um único modelo analisa documentos, áudio e vídeo

A Tencent lançou o Youtu-Parsing-Omni, um "parser para todos os casos": o modelo lê páginas de documentos, fotografias, áudio e vídeo e os converte em um registro estruturado. Nesse registro, cada fragmento tem coordenadas na imagem ou um intervalo de tempo. O registro funciona como camada de percepção para agentes de IA. O agente converte a entrada em texto uma única vez, e a partir daí qualquer modelo de linguagem, inclusive um sem visão ou audição, trabalha com esse texto e cita uma região ou um intervalo específico como prova. Código e pesos estão em acesso aberto.

Por que agentes precisam de uma entrada já processada

Agentes baseados em LLM dependem cada vez mais de dados que ficam fora da própria memória: buscam fontes, chamam ferramentas e controlam o computador pela tela. Esses dados raramente chegam como texto limpo. Na maioria das vezes, são PDFs, capturas de tela, gravações de chamadas e vídeos.

Entregar pixels e áudio brutos ao modelo principal do agente cria dois problemas:

• a cada vez que volta ao material, o modelo precisa codificar de novo longas sequências de tokens visuais e sonoros; • uma resposta obtida a partir de pixels ou da forma de onda não mostra, por si só, qual trecho a sustenta.

O Parsing-Omni processa a entrada uma única vez. Depois, o agente trabalha com o registro em texto e pode verificar cada afirmação pela âncora correspondente.

As soluções existentes cobrem essa tarefa apenas em parte. Parsers de documentos lidam bem com páginas comuns, mas costumam deixar estruturas químicas e partituras para modelos especializados e restritos. Modelos multimodais são ajustados para descrever imagens e responder perguntas, não para gerar saída estruturada com referência de origem. Para cada tipo de entrada, é preciso manter um modelo diferente, com formatos de resposta diferentes.

Um encoder em vez de duas torres

Nos parsers omni existentes, incluindo o Logics-Parsing-Omni, pixels e áudio são codificados por dois encoders treinados separadamente. Os fluxos só se encontram dentro do modelo de linguagem. Daí vêm três problemas: o quadro e o som do mesmo instante não são associados na percepção, os dois encoders têm contagens de tempo independentes, e cada nova modalidade exige uma nova torre com seu próprio pré-treinamento.

O Youtu-Omni-Encoder é organizado de outra forma:

• um único transformer compartilhado, com atenção bidirecional para todas as modalidades, inicializado com os pesos de um modelo de linguagem textual pré-treinado, para ler melhor o texto presente em imagens; • cada modalidade tem apenas "pernas" de entrada leves e projetores de saída. Imagens e quadros são cortados em patches com uma única transformação linear, enquanto o áudio vira um espectrograma log-mel seguido de algumas convoluções de compressão; • o decodificador é um modelo de texto denso, treinado segundo a receita do Youtu-LLM-2B. Ele gera apenas texto.

Nesse esquema, uma nova modalidade exige uma nova "perna" e um projetor, não uma segunda torre. Os pesos compartilhados ainda precisarão ser retreinados com a nova entrada.

Como quadro e áudio são alinhados no tempo

O encoder tem um sistema de posições unificado. A faixa de frequências dos embeddings posicionais rotacionais (RoPE) é dividida em segmentos para largura, altura e tempo. Quadros e tokens de áudio recebem uma posição em uma linha do tempo comum.

A linha do tempo comum não basta, é preciso também haver interação. Por isso, parte das camadas funciona como camadas de fusão. Os quadros e os fragmentos de áudio do vídeo são empacotados em ordem cronológica, e uma nova janela de atenção começa em cada fronteira "áudio → quadro". O quadro enxerga o áudio do mesmo instante. Assim, a pergunta "quais palavras soam enquanto este slide está na tela" é resolvida na etapa de percepção, e o decodificador não precisa reconstruir essa relação depois.

Nas demais camadas, cada quadro e cada fragmento de áudio tem sua própria janela. Os dois modos usam os mesmos pesos. No treinamento, o vídeo passa pela fusão com uma probabilidade definida, de modo que, na inferência, as duas rotas funcionam.

Um esquema único e autoaprendizado com as próprias respostas

O formato de saída comum se chama OmniSchema. É um JSON com três campos obrigatórios: uma lista de unidades localizadas com seu conteúdo, uma descrição global da entrada e campos de serviço. Para imagens, a unidade é um elemento com bounding box em coordenadas normalizadas; para áudio e vídeo, é um segmento com início e fim (precisão de segundo) e um identificador de falante, único em toda a entrada. O esquema abrange 10 tarefas e três tipos de entrada: imagens (páginas e fotos comuns), áudio e vídeo.

O formato único permitiu aplicar um só procedimento de ajuste fino, o OSAD (OmniSchema-Aware On-Policy Distillation). Depois do treinamento usual com respostas de referência e do treinamento com recompensa verificável, o modelo aprende com as próprias análises. O "professor" é uma cópia congelada do próprio modelo, à qual se mostra, além disso, a resposta de referência. Ele fornece distribuições-alvo para cada token. Os tokens são divididos por papel, conteúdo ou estrutura, e cada papel tem sua própria função de perda. Ao fim de cada rodada, o modelo treinado se torna o novo professor. Não são necessários uma função de recompensa manual nem um modelo professor separado.

Resultados

Um único checkpoint atende às 10 tarefas. Segundo os autores:

• melhor resultado no OmniDocBench v1.6, benchmark de análise de páginas de documentos; • primeiro lugar entre os modelos abertos no OmniParsingBench, que avalia a análise de imagens, áudio e vídeo. O modelo superou o Logics-Parsing-Omni, com a maior vantagem em áudio e vídeo; • melhor pontuação geral na análise de gráficos; • maior taxa de correspondências exatas de "impressões digitais" químicas de moléculas (métrica [email protected]) entre os sistemas comparados, incluindo o DeepSeek-OCR 2; • na transcrição caractere a caractere de partituras impressas, o modelo fica no nível do especializado LEGATO e supera com folga os sistemas de uso geral.

Para engenheiros, a conclusão é que, em vez de um conjunto de modelos de OCR, ASR e vídeo com formatos diferentes, é possível manter um único parser com referências verificáveis à fonte. Para empresas, é um caminho para agentes que analisam contratos, gravações de reuniões e vídeos e mostram de onde veio cada afirmação. Todos os números são declarações dos autores, e ainda não há medições independentes.