Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)

X5 Tech e T-Bank ajustam a busca visual: ColQwen3 alcança 0,84 em nDCG@5

Em PDFs corporativos, a resposta muitas vezes está escondida em uma tabela ou gráfico, enquanto o texto extraído perde as relações entre números e rótulos. Autores da X5 Tech e do T-Bank ajustaram a busca visual com consultas sobre páginas geradas e validadas automaticamente. Em um corpus de teste privado, o ColQwen3-2B obteve 0,84 em nDCG@5, contra 0,77 do melhor modelo baseado em texto.

Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
X5 Tech e T-Bank ajustam a busca visual: ColQwen3 alcança 0,84 em nDCG@5
Fonte: Хабр: Машинное обучение. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: Машинное обучение ↗
Editor-chefe
Dado-chave #1As consultas de treinamento são geradas e validadas automaticamente, sem elaboração manual.
Dado-chave #2O corpus de teste X5-private não foi usado para treinar o modelo de busca.
Dado-chave #3Vale verificar o resultado nos seus próprios PDFs, medindo separadamente a latência e o custo.

Se a sua busca em PDFs corporativos encontra palavras de um relatório, mas deixa passar a tabela necessária, a causa pode estar na preparação dos documentos. A extração de texto elimina a disposição das células, a relação entre rótulos e gráficos e outras pistas que uma pessoa capta em segundos ao olhar a página. Roman Makeev, da X5 Tech, e Egor Machnev, do T-Bank, descreveram seu trabalho em busca visual, que trata esses documentos como imagens de páginas.

O principal resultado do anúncio publicado: uma versão ajustada do ColQwen3-2B obteve 0,84 em nDCG@5 no corpus privado X5-private. O melhor modelo baseado em texto da comparação alcançou 0,77. Para uma equipe que desenvolve busca ou RAG sobre PDFs complexos, isso é um motivo para verificar quantas respostas se perdem antes mesmo de os documentos chegarem ao modelo de linguagem.

Por que a busca precisa enxergar a página

Imagine um relatório de vendas. O usuário pergunta: “Em qual região a receita mais caiu?”. A resposta está em um gráfico: os nomes das regiões aparecem abaixo das barras, os valores são indicados ao lado e o período está no título. Após a extração de texto, esses elementos podem se transformar em uma sequência de palavras e números cujas relações são difíceis de reconstruir.

Esse é um exemplo hipotético, não um teste descrito pelos autores. Mas ele explica a função prática da busca visual: usar a aparência da página quando o texto sozinho não basta. É uma abordagem especialmente interessante para testar em apresentações, relatórios e documentos com diagramação densa. Ainda assim, encontrar a página certa não garante, por si só, uma resposta correta: o próximo componente do sistema precisa ler seu conteúdo corretamente.

O artigo analisa ColPali e ColQwen3, além de sua adaptação a um corpus especializado em russo. O anúncio disponível não permite concluir que qualquer modelo visual superará qualquer sistema de busca baseado em texto. O resultado confirmado é mais restrito: um modelo específico, após o ajuste, obteve a melhor pontuação na comparação apresentada em um único conjunto privado de documentos.

As consultas de treinamento são criadas automaticamente

Para adaptar o modelo de busca, são necessários exemplos de quais consultas devem levar a quais documentos. Criar esses exemplos manualmente exige tempo de funcionários que entendam o conteúdo das páginas e as tarefas reais dos usuários.

Os autores propõem uma metodologia em que os documentos servem de base para gerar e validar automaticamente consultas sobre as páginas. Não é necessário elaborar manualmente as consultas de treinamento. Essa é a parte do trabalho mais útil para aplicar em outros contextos: a equipe ganha uma forma de preparar dados para seu próprio corpus especializado, em vez de apenas escolher um modelo pronto com base no ranking de terceiros.

No entanto, a própria validação automática precisa ser avaliada. O anúncio não esclarece exatamente como ela funciona, quais erros descarta nem até que ponto as consultas geradas se parecem com solicitações reais dos usuários. Antes da implantação, vale revisar uma amostra manualmente: a consulta deve ter uma resposta na página, corresponder a uma tarefa de trabalho e não revelar a resposta na própria formulação.

O que a vantagem significa e como verificá-la

A nDCG@5 avalia a qualidade da ordenação dos primeiros cinco resultados, levando em conta sua relevância. Uma pontuação de 0,84 não deve ser interpretada como “84% de respostas corretas”. A diferença em relação a 0,77 é de 0,07 ponto da métrica; ela caracteriza os resultados da busca, não a precisão de todo o sistema de respostas.

Os autores afirmam expressamente que o X5-private não foi usado no treinamento. É um detalhe relevante, mas o caráter privado do corpus limita a verificação independente. O anúncio também não apresenta dados sobre o tamanho da amostra, a robustez estatística da vantagem, a latência ou o custo de processamento dos documentos.

O próximo passo prático é montar um pequeno conjunto de teste com consultas próprias e páginas com respostas verificadas. Compare a busca atual baseada em texto com a busca visual nos mesmos documentos, avaliando separadamente tabelas, gráficos e texto comum. Em seguida, meça o tempo de indexação, a velocidade de recuperação e a qualidade da resposta final. Se a melhoria estiver concentrada nas páginas complexas, haverá uma base para escolher a abordagem para diferentes tipos de documento. A decisão de implantação deve se apoiar nessas medições, não em um único número obtido no corpus de terceiros.

Fonte: anúncio do artigo no Habr.

História

Perguntas frequentes sobre a notícia

Por que a busca precisa enxergar a página?

Imagine um relatório de vendas. O usuário pergunta: “Em qual região a receita mais caiu?”. A resposta está em um gráfico: os nomes das regiões aparecem abaixo das barras, os valores são indicados ao lado e o período está no título. Após a extração de texto, esses elementos podem se transformar em uma sequência de palavras e números cujas relações são difíceis de reconstruir. Esse é um exemplo hipotético, não um teste descrito pelos autores.

O que se sabe sobre As consultas de treinamento são criadas automaticamente?

Para adaptar o modelo de busca, são necessários exemplos de quais consultas devem levar a quais documentos. Criar esses exemplos manualmente exige tempo de funcionários que entendam o conteúdo das páginas e as tarefas reais dos usuários. Os autores propõem uma metodologia em que os documentos servem de base para gerar e validar automaticamente consultas sobre as páginas. Não é necessário elaborar manualmente as consultas de treinamento.

O que a vantagem significa e como verificá-la?

A nDCG@5 avalia a qualidade da ordenação dos primeiros cinco resultados, levando em conta sua relevância. Uma pontuação de 0,84 não deve ser interpretada como “84% de respostas corretas”. A diferença em relação a 0,77 é de 0,07 ponto da métrica; ela caracteriza os resultados da busca, não a precisão de todo o sistema de respostas. Os autores afirmam expressamente que o X5-private não foi usado no treinamento. É um detalhe relevante, mas o caráter privado do corpus limita a verificação independente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…