O embedder pplx encontra o scan certo de primeira em 68% dos casos; o EmbeddingGemma, em 38%
Antes, o scan de um contrato precisava passar por OCR para virar texto. Agora, um modelo pode buscar a página diretamente pela imagem. O Data Scientist Artem, da Raft Digital Solutions, comparou três modelos desse tipo. Para uma pergunta como «em qual contrato a multa é de 0,1% ao dia?», o pplx-embed-late coloca a página certa em primeiro lugar em 68% dos casos no DocVQA; o EmbeddingGemma-2 acerta em 38%. Reduzir a página para 1 Mpx quase não prejudica a qualidade. Para scans e tabelas, vale começar pelo pplx, mas é preciso reservar mais espaço para o índice.
Processado por IA de Habr AI; editado por Hamidun News
Imagine um arquivo com milhares de contratos, notas fiscais e relatórios. Um funcionário pergunta: «Em qual contrato a multa por atraso é de 0,1% ao dia?», e o sistema precisa devolver a página certa.
Normalmente, o scan é convertido em texto por OCR, dividido em trechos e armazenado em um sistema de RAG. Para texto corrido, isso funciona. Já em tabelas, gráficos e diagramas, o sentido está na posição dos valores, não nas palavras.
O Data Scientist Artem, da Raft Digital Solutions, testou uma alternativa: embedders multimodais, que geram o vetor numérico da página diretamente a partir da imagem. A principal métrica do teste é o hit@1: a proporção de perguntas em que a página correta apareceu em primeiro lugar nos resultados. Nos scans do DocVQA, o melhor modelo, o pplx-embed-late (no estudo, apenas pplx), atingiu 68%, e o EmbeddingGemma-2, 38%.
Se você está montando uma busca em documentos, isso indica qual modelo testar primeiro.
Quem participou e como foi a medição
Foram comparados três modelos. O WeMM-2B gera um vetor de 2048 dimensões por página e aceita imagem junto com texto. O EmbeddingGemma-2 também gera um vetor por página, mas de apenas 768 dimensões; por padrão, a imagem ocupa 280 tokens de um orçamento de 8192. O pplx-embed-late funciona de outra forma: gera um vetor para cada token (de 128 dimensões) e faz a busca com late interaction (MaxSim), em que a proximidade entre pergunta e página é calculada pelos melhores pares de tokens. Ele não aceita entrada mista de «imagem mais texto».
O teste é simples: todas as páginas do conjunto viram vetores e são armazenadas no Qdrant; a pergunta também vira vetor, e a base devolve as 20 páginas mais próximas. Se uma pergunta tem várias páginas corretas, qualquer uma conta como acerto. Os intervalos de 95% foram calculados por bootstrap com 2000 repetições. Cada execução também incluiu um controle com perguntas embaralhadas: o hit@1 desse controle deve ficar abaixo de 10%, caso contrário o modelo está acertando sem entender o sentido.
Resultados por tipo de página
Nos scans, o pplx lidera. No DocVQA: 67,8% para o pplx, 60,5% para o WeMM-2B e 38% para o EmbeddingGemma-2. Em scans comerciais em russo, os números são 89%, 84,6% e 38,2%. No corpus interno da empresa (46 perguntas), 78,3%, 60,9% e 21,7%. Nas tabelas financeiras do TAT-DQA, o pplx também vence: 65% contra 57,8% e 30,6%.
Com gráficos, o quadro é misto. Quando a pergunta é sobre o aspecto geral, o WeMM-2B vai um pouco melhor: no ChartQA, 69,1% contra 61,1% do pplx e 51,4% do EmbeddingGemma-2. Mas, na hora de achar um gráfico por um valor exato, o pplx passa à frente: em gráficos sintéticos de PIB, 82,4% contra 39,7% do WeMM-2B. Em tabelas sintéticas do mesmo tipo, nas quais só algumas células mudam, o pplx encontra a página certa em 94,7% dos casos; o WeMM-2B, em 37,3%.
Para infográficos e apresentações, o melhor é o WeMM-2B: 85,2% no InfoVQA e 94,6% no SlideVQA, com o pplx quase empatado (84,6% e 93,7%). O EmbeddingGemma-2 fica atrás em todos os conjuntos reais.
Compressão, hardware e ressalvas
É possível limitar a página a 1 megapixel: o número de tokens, ou seja, de fragmentos da imagem que o modelo processa, cai de 1,8 a 2,2 vezes. Nos scans, o hit@1 do WeMM-2B não muda; o do pplx no DocVQA cai 2 pontos percentuais. Com 0,25 Mpx, a qualidade cai de forma visível nos dois modelos.
O preço da precisão do pplx é o tamanho do índice: um vetor por token ocupa bem mais espaço que um único vetor por página, e isso precisa entrar no orçamento de armazenamento e de GPU. Se os recursos são limitados e a velocidade importa, resta o EmbeddingGemma-2, mas com perda sensível de qualidade.
Os números de conjuntos diferentes não podem ser comparados diretamente: os conjuntos de páginas e as perguntas variam. Diagramas e interfaces foram testados apenas com dados sintéticos; isso valida o mecanismo, mas não avalia o desempenho em documentos reais. O conjunto em russo tem apenas 10 páginas independentes, e o corpus interno tem 46 perguntas, então as conclusões sobre eles são menos confiáveis.
Conclusão prática: para buscar em scans e tabelas, comece pelo pplx-embed-late e estime o tamanho do índice com antecedência. Para apresentações e gráficos «pelo aspecto geral», o WeMM-2B basta. Limite a imagem a 1 Mpx e meça a qualidade nos seus próprios documentos: neles, a ordem dos modelos pode ser diferente da dos conjuntos públicos.
- 9 de out. de 2026Desenvolvimento de LLM em 2026: RAG, agentes e escolha de modelos
- 31 de jul. de 2026Perplexity lança o pplx: CLI para a Search API direto no terminal, a US$ 5 por 1000 requisições
- 27 de out. de 2026Meta abre o Muse Spark de 816B, e a Reflection lança o Beam sob Apache 2.0
- 27 de fev. de 2026Perplexity lança pplx-embed, modelos de embeddings voltados à busca em escala de toda a web
Perguntas frequentes sobre a notícia
O que se sabe sobre Quem participou e como foi a medição?
Foram comparados três modelos. O WeMM-2B gera um vetor de 2048 dimensões por página e aceita imagem junto com texto. O EmbeddingGemma-2 também gera um vetor por página, mas de apenas 768 dimensões; por padrão, a imagem ocupa 280 tokens de um orçamento de 8192. O pplx-embed-late funciona de outra forma: gera um vetor para cada token (de 128 dimensões) e faz a busca com late interaction (MaxSim), em que a proximidade entre pergunta e página é calculada pelos melhores pares de tokens.
O que se sabe sobre Resultados por tipo de página?
Nos scans, o pplx lidera. No DocVQA: 67,8% para o pplx, 60,5% para o WeMM-2B e 38% para o EmbeddingGemma-2. Em scans comerciais em russo, os números são 89%, 84,6% e 38,2%. No corpus interno da empresa (46 perguntas), 78,3%, 60,9% e 21,7%. Nas tabelas financeiras do TAT-DQA, o pplx também vence: 65% contra 57,8% e 30,6%. Com gráficos, o quadro é misto. Quando a pergunta é sobre o aspecto geral, o WeMM-2B vai um pouco melhor: no ChartQA, 69,1% contra 61,1% do pplx e 51,4% do EmbeddingGemma-2.
O que se sabe sobre Compressão, hardware e ressalvas?
É possível limitar a página a 1 megapixel: o número de tokens, ou seja, de fragmentos da imagem que o modelo processa, cai de 1,8 a 2,2 vezes. Nos scans, o hit@1 do WeMM-2B não muda; o do pplx no DocVQA cai 2 pontos percentuais. Com 0,25 Mpx, a qualidade cai de forma visível nos dois modelos. O preço da precisão do pplx é o tamanho do índice: um vetor por token ocupa bem mais espaço que um único vetor por página, e isso precisa entrar no orçamento de armazenamento e de GPU.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.