En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

El embedder pplx encuentra el escaneo correcto a la primera en el 68% de los casos; EmbeddingGemma, en el 38%

Antes, el escaneo de un contrato se convertía primero en texto mediante OCR. Ahora un modelo puede buscar la página directamente por su imagen. Un Data Scientist de Raft Digital Solutions comparó tres modelos de este tipo. Ante una pregunta como «¿en qué contrato la penalización es del 0,1% diario?», pplx-embed-late coloca la página correcta en primer lugar en el 68% de los casos en DocVQA; EmbeddingGemma-2, en el 38%. Comprimir la página a 1 Mpx apenas perjudica la calidad. Para escaneos y tablas conviene elegir pplx, pero hay que reservar más espacio para el índice.

Procesado por IA desde Habr AI; editado por Hamidun News
El embedder pplx encuentra el escaneo correcto a la primera en el 68% de los casos; EmbeddingGemma, en el 38%
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Tablas de informes financieros TAT-DQApplx 65%, WeMM-2B 57,8%, EmbeddingGemma-2 30,6%
Gráficos de PIB, búsqueda por cifra exactapplx 82,4%, WeMM-2B 39,7%
Diapositivas SlideVQAWeMM-2B 94,6%, pplx casi a la par, con 93,7%

Imagine un archivo con miles de contratos, facturas e informes. Un empleado pregunta: «¿En qué contrato la penalización por demora es del 0,1% diario?», y el sistema debe devolver la página correcta.

Lo habitual es convertir primero el escaneo en texto con OCR, trocearlo y almacenarlo en un sistema RAG. Con texto corrido funciona, pero en tablas, gráficos y esquemas el significado depende de la posición de los valores, no de las palabras. Artyom, Data Scientist de Raft Digital Solutions, probó una alternativa: embedders multimodales que generan el vector numérico de una página directamente a partir de su imagen.

La métrica principal de la prueba es hit@1: la proporción de preguntas en las que la página correcta aparece en primer lugar de los resultados. En los escaneos de DocVQA, el mejor modelo, pplx-embed-late (en el estudio, simplemente pplx), obtuvo un 68%, frente al 38% de EmbeddingGemma-2. Si va a construir un buscador de documentos, esto indica qué modelo probar primero.

Quién participó y cómo se midió

Se compararon tres modelos. WeMM-2B genera un vector por página de 2048 dimensiones y admite imagen junto con texto. EmbeddingGemma-2 también genera un único vector, pero de solo 768 dimensiones; por defecto, la imagen ocupa 280 tokens de un presupuesto de 8192. pplx-embed-late funciona de otra manera: genera un vector por cada token (de 128 dimensiones) y busca con el esquema de late interaction (MaxSim), en el que la cercanía entre pregunta y página se calcula a partir de los mejores pares de tokens. No admite una entrada mixta de «imagen más texto».

La prueba es sencilla: todas las páginas del conjunto se convierten en vectores y se guardan en Qdrant; la pregunta también se convierte en vector y la base devuelve las 20 páginas más cercanas. Si una pregunta tiene varias páginas válidas, cuenta cualquiera de ellas. Los intervalos del 95% se calcularon con bootstrap de 2000 repeticiones, y cada ejecución incluía un control con preguntas barajadas: su hit@1 debe quedar por debajo del 10%; de lo contrario, el modelo adivina sin atender al significado.

Resultados por tipo de página

En escaneos, pplx va por delante. En DocVQA: 67,8% para pplx, 60,5% para WeMM-2B y 38% para EmbeddingGemma-2. En escaneos comerciales en ruso: 89%, 84,6% y 38,2%. En el corpus interno de la empresa (46 preguntas): 78,3%, 60,9% y 21,7%. En las tablas financieras de TAT-DQA también gana pplx: 65% frente a 57,8% y 30,6%.

En los gráficos el panorama es mixto. Si la pregunta se refiere al aspecto general, WeMM-2B es algo mejor: en ChartQA, 69,1% frente al 61,1% de pplx y el 51,4% de EmbeddingGemma-2. Pero cuando hay que encontrar un gráfico por un valor exacto, pplx se adelanta: en gráficos sintéticos de PIB, 82,4% frente al 39,7% de WeMM-2B. En tablas sintéticas del mismo tipo, donde solo difieren unas pocas celdas, pplx encuentra la página en el 94,7% de los casos y WeMM-2B, en el 37,3%.

Para infografías y presentaciones, el mejor es WeMM-2B: 85,2% en InfoVQA y 94,6% en SlideVQA, con pplx casi a la par (84,6% y 93,7%). EmbeddingGemma-2 queda por detrás en todos los conjuntos reales.

Compresión, hardware y salvedades

La página puede limitarse a 1 megapíxel: así, el número de tokens, es decir, de fragmentos de imagen para el modelo, es entre 1,8 y 2,2 veces menor. En escaneos, el hit@1 de WeMM-2B no cambia; el de pplx en DocVQA baja 2 puntos porcentuales. Con 0,25 Mpx la calidad cae de forma notable en ambos modelos.

El precio de la precisión de pplx es el tamaño del índice: un vector por token ocupa bastante más espacio que un único vector por página, y esto debe tenerse en cuenta en el presupuesto de almacenamiento y de GPU. Si los recursos son escasos y la velocidad importa, queda EmbeddingGemma-2, pero con una pérdida de calidad apreciable.

Las cifras de conjuntos distintos no se pueden comparar directamente: los grupos de páginas y las preguntas son diferentes. Los esquemas y las interfaces se probaron solo con datos sintéticos; es una verificación del mecanismo, no una evaluación sobre documentos reales. El conjunto en ruso tiene solo 10 páginas independientes y el corpus interno, 46 preguntas, por lo que las conclusiones sobre ellos son menos fiables.

Conclusión práctica: para buscar en escaneos y tablas, empiece por pplx-embed-late y calcule de antemano el tamaño del índice. Para presentaciones y gráficos «por aspecto general» basta con WeMM-2B. Limite la imagen a 1 Mpx y mida la calidad con sus propios documentos: en ellos, el orden de los modelos puede diferir del de los conjuntos públicos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Quién participó y cómo se midió?

Se compararon tres modelos. WeMM-2B genera un vector por página de 2048 dimensiones y admite imagen junto con texto. EmbeddingGemma-2 también genera un único vector, pero de solo 768 dimensiones; por defecto, la imagen ocupa 280 tokens de un presupuesto de 8192. pplx-embed-late funciona de otra manera: genera un vector por cada token (de 128 dimensiones) y busca con el esquema de late interaction (MaxSim), en el que la cercanía entre pregunta y página se calcula a partir de los mejores pares de tokens.

¿Qué se sabe sobre Resultados por tipo de página?

En escaneos, pplx va por delante. En DocVQA: 67,8% para pplx, 60,5% para WeMM-2B y 38% para EmbeddingGemma-2. En escaneos comerciales en ruso: 89%, 84,6% y 38,2%. En el corpus interno de la empresa (46 preguntas): 78,3%, 60,9% y 21,7%. En las tablas financieras de TAT-DQA también gana pplx: 65% frente a 57,8% y 30,6%. En los gráficos el panorama es mixto. Si la pregunta se refiere al aspecto general, WeMM-2B es algo mejor: en ChartQA, 69,1% frente al 61,1% de pplx y el 51,4% de EmbeddingGemma-2.

¿Qué se sabe sobre Compresión, hardware y salvedades?

La página puede limitarse a 1 megapíxel: así, el número de tokens, es decir, de fragmentos de imagen para el modelo, es entre 1,8 y 2,2 veces menor. En escaneos, el hit@1 de WeMM-2B no cambia; el de pplx en DocVQA baja 2 puntos porcentuales. Con 0,25 Mpx la calidad cae de forma notable en ambos modelos. El precio de la precisión de pplx es el tamaño del índice: un vector por token ocupa bastante más espacio que un único vector por página, y esto debe tenerse en cuenta en el presupuesto de almacenamiento y de GPU.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…