Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
IndústriaAnálise · No radarHabr AI→ original

O embedder pplx encontra o scan certo de primeira em 68% dos casos; o EmbeddingGemma, em 38%

Antes, o scan de um contrato precisava passar por OCR para virar texto. Agora, um modelo pode buscar a página diretamente pela imagem. O Data Scientist Artem, da Raft Digital Solutions, comparou três modelos desse tipo. Para uma pergunta como «em qual contrato a multa é de 0,1% ao dia?», o pplx-embed-late coloca a página certa em primeiro lugar em 68% dos casos no DocVQA; o EmbeddingGemma-2 acerta em 38%. Reduzir a página para 1 Mpx quase não prejudica a qualidade. Para scans e tabelas, vale começar pelo pplx, mas é preciso reservar mais espaço para o índice.

Processado por IA de Habr AI; editado por Hamidun News
O embedder pplx encontra o scan certo de primeira em 68% dos casos; o EmbeddingGemma, em 38%
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Tabelas de relatórios financeiros TAT-DQApplx 65%, WeMM-2B 57,8%, EmbeddingGemma-2 30,6%
Gráficos de PIB, busca por número exatopplx 82,4%, WeMM-2B 39,7%
Slides do SlideVQAWeMM-2B 94,6%, com o pplx quase empatado, em 93,7%

Imagine um arquivo com milhares de contratos, notas fiscais e relatórios. Um funcionário pergunta: «Em qual contrato a multa por atraso é de 0,1% ao dia?», e o sistema precisa devolver a página certa.

Normalmente, o scan é convertido em texto por OCR, dividido em trechos e armazenado em um sistema de RAG. Para texto corrido, isso funciona. Já em tabelas, gráficos e diagramas, o sentido está na posição dos valores, não nas palavras.

O Data Scientist Artem, da Raft Digital Solutions, testou uma alternativa: embedders multimodais, que geram o vetor numérico da página diretamente a partir da imagem. A principal métrica do teste é o hit@1: a proporção de perguntas em que a página correta apareceu em primeiro lugar nos resultados. Nos scans do DocVQA, o melhor modelo, o pplx-embed-late (no estudo, apenas pplx), atingiu 68%, e o EmbeddingGemma-2, 38%.

Se você está montando uma busca em documentos, isso indica qual modelo testar primeiro.

Quem participou e como foi a medição

Foram comparados três modelos. O WeMM-2B gera um vetor de 2048 dimensões por página e aceita imagem junto com texto. O EmbeddingGemma-2 também gera um vetor por página, mas de apenas 768 dimensões; por padrão, a imagem ocupa 280 tokens de um orçamento de 8192. O pplx-embed-late funciona de outra forma: gera um vetor para cada token (de 128 dimensões) e faz a busca com late interaction (MaxSim), em que a proximidade entre pergunta e página é calculada pelos melhores pares de tokens. Ele não aceita entrada mista de «imagem mais texto».

O teste é simples: todas as páginas do conjunto viram vetores e são armazenadas no Qdrant; a pergunta também vira vetor, e a base devolve as 20 páginas mais próximas. Se uma pergunta tem várias páginas corretas, qualquer uma conta como acerto. Os intervalos de 95% foram calculados por bootstrap com 2000 repetições. Cada execução também incluiu um controle com perguntas embaralhadas: o hit@1 desse controle deve ficar abaixo de 10%, caso contrário o modelo está acertando sem entender o sentido.

Resultados por tipo de página

Nos scans, o pplx lidera. No DocVQA: 67,8% para o pplx, 60,5% para o WeMM-2B e 38% para o EmbeddingGemma-2. Em scans comerciais em russo, os números são 89%, 84,6% e 38,2%. No corpus interno da empresa (46 perguntas), 78,3%, 60,9% e 21,7%. Nas tabelas financeiras do TAT-DQA, o pplx também vence: 65% contra 57,8% e 30,6%.

Com gráficos, o quadro é misto. Quando a pergunta é sobre o aspecto geral, o WeMM-2B vai um pouco melhor: no ChartQA, 69,1% contra 61,1% do pplx e 51,4% do EmbeddingGemma-2. Mas, na hora de achar um gráfico por um valor exato, o pplx passa à frente: em gráficos sintéticos de PIB, 82,4% contra 39,7% do WeMM-2B. Em tabelas sintéticas do mesmo tipo, nas quais só algumas células mudam, o pplx encontra a página certa em 94,7% dos casos; o WeMM-2B, em 37,3%.

Para infográficos e apresentações, o melhor é o WeMM-2B: 85,2% no InfoVQA e 94,6% no SlideVQA, com o pplx quase empatado (84,6% e 93,7%). O EmbeddingGemma-2 fica atrás em todos os conjuntos reais.

Compressão, hardware e ressalvas

É possível limitar a página a 1 megapixel: o número de tokens, ou seja, de fragmentos da imagem que o modelo processa, cai de 1,8 a 2,2 vezes. Nos scans, o hit@1 do WeMM-2B não muda; o do pplx no DocVQA cai 2 pontos percentuais. Com 0,25 Mpx, a qualidade cai de forma visível nos dois modelos.

O preço da precisão do pplx é o tamanho do índice: um vetor por token ocupa bem mais espaço que um único vetor por página, e isso precisa entrar no orçamento de armazenamento e de GPU. Se os recursos são limitados e a velocidade importa, resta o EmbeddingGemma-2, mas com perda sensível de qualidade.

Os números de conjuntos diferentes não podem ser comparados diretamente: os conjuntos de páginas e as perguntas variam. Diagramas e interfaces foram testados apenas com dados sintéticos; isso valida o mecanismo, mas não avalia o desempenho em documentos reais. O conjunto em russo tem apenas 10 páginas independentes, e o corpus interno tem 46 perguntas, então as conclusões sobre eles são menos confiáveis.

Conclusão prática: para buscar em scans e tabelas, comece pelo pplx-embed-late e estime o tamanho do índice com antecedência. Para apresentações e gráficos «pelo aspecto geral», o WeMM-2B basta. Limite a imagem a 1 Mpx e meça a qualidade nos seus próprios documentos: neles, a ordem dos modelos pode ser diferente da dos conjuntos públicos.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Quem participou e como foi a medição?

Foram comparados três modelos. O WeMM-2B gera um vetor de 2048 dimensões por página e aceita imagem junto com texto. O EmbeddingGemma-2 também gera um vetor por página, mas de apenas 768 dimensões; por padrão, a imagem ocupa 280 tokens de um orçamento de 8192. O pplx-embed-late funciona de outra forma: gera um vetor para cada token (de 128 dimensões) e faz a busca com late interaction (MaxSim), em que a proximidade entre pergunta e página é calculada pelos melhores pares de tokens.

O que se sabe sobre Resultados por tipo de página?

Nos scans, o pplx lidera. No DocVQA: 67,8% para o pplx, 60,5% para o WeMM-2B e 38% para o EmbeddingGemma-2. Em scans comerciais em russo, os números são 89%, 84,6% e 38,2%. No corpus interno da empresa (46 perguntas), 78,3%, 60,9% e 21,7%. Nas tabelas financeiras do TAT-DQA, o pplx também vence: 65% contra 57,8% e 30,6%. Com gráficos, o quadro é misto. Quando a pergunta é sobre o aspecto geral, o WeMM-2B vai um pouco melhor: no ChartQA, 69,1% contra 61,1% do pplx e 51,4% do EmbeddingGemma-2.

O que se sabe sobre Compressão, hardware e ressalvas?

É possível limitar a página a 1 megapixel: o número de tokens, ou seja, de fragmentos da imagem que o modelo processa, cai de 1,8 a 2,2 vezes. Nos scans, o hit@1 do WeMM-2B não muda; o do pplx no DocVQA cai 2 pontos percentuais. Com 0,25 Mpx, a qualidade cai de forma visível nos dois modelos. O preço da precisão do pplx é o tamanho do índice: um vetor por token ocupa bem mais espaço que um único vetor por página, e isso precisa entrar no orçamento de armazenamento e de GPU.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…