En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)

X5 Tech y T-Bank ajustan la búsqueda visual: ColQwen3 alcanza 0,84 en nDCG@5

En los PDF corporativos, la respuesta suele estar escondida en una tabla o un gráfico, mientras que el texto extraído pierde las relaciones entre cifras y etiquetas. Autores de X5 Tech y T-Bank ajustaron la búsqueda visual con consultas sobre páginas generadas y validadas automáticamente. En un corpus de prueba privado, ColQwen3-2B obtuvo 0,84 en nDCG@5, frente a 0,77 del mejor modelo basado en texto.

Procesado por IA desde Хабр: Машинное обучение; editado por Hamidun News
X5 Tech y T-Bank ajustan la búsqueda visual: ColQwen3 alcanza 0,84 en nDCG@5
Fuente: Хабр: Машинное обучение. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalХабр: Машинное обучение ↗
Editor jefe
Dato clave #1Las consultas de entrenamiento se generan y validan automáticamente, sin redactarlas a mano.
Dato clave #2El corpus de prueba X5-private no se utilizó para entrenar el modelo de búsqueda.
Dato clave #3Conviene comprobar el resultado con PDF propios y medir por separado la latencia y el coste.

Si su buscador de PDF corporativos encuentra palabras de un informe, pero pasa por alto la tabla que necesita, la causa puede estar en la preparación de los documentos. Al extraer el texto, desaparecen la disposición de las celdas, la relación entre etiquetas y gráficos y otras pistas que una persona capta en segundos al mirar la página. Roman Makeev, de X5 Tech, y Egor Machnev, de T-Bank, describieron su trabajo en búsqueda visual, que trata estos documentos como imágenes de páginas.

El principal resultado del anuncio publicado: una versión ajustada de ColQwen3-2B obtuvo 0,84 en nDCG@5 en el corpus privado X5-private. El mejor modelo basado en texto de la comparación logró 0,77. Para un equipo que desarrolla búsquedas o RAG sobre PDF complejos, es un motivo para comprobar cuántas respuestas se pierden antes incluso de que los documentos lleguen al modelo de lenguaje.

Por qué el buscador necesita ver la página

Imaginemos un informe de ventas. El usuario pregunta: «¿En qué región cayó más la facturación?». La respuesta está en un gráfico: los nombres de las regiones aparecen debajo de las barras, los valores se indican al lado y el periodo figura en el título. Tras extraer el texto, estos elementos pueden convertirse en una secuencia de palabras y cifras cuyas relaciones resultan difíciles de reconstruir.

Se trata de un ejemplo hipotético, no de una prueba descrita por los autores. Pero explica la función práctica de la búsqueda visual: aprovechar el aspecto de la página cuando el texto por sí solo no basta. Este enfoque resulta especialmente interesante para probarlo en presentaciones, informes y documentos con una maquetación densa. Aun así, encontrar la página adecuada no garantiza por sí mismo una respuesta correcta: el siguiente componente del sistema debe leer bien su contenido.

El artículo analiza ColPali y ColQwen3, así como su adaptación a un corpus especializado en ruso. El anuncio disponible no permite concluir que cualquier modelo visual superará a cualquier buscador basado en texto. Lo que se confirma es un resultado más acotado: un modelo concreto, tras su ajuste, obtuvo la mejor puntuación de la comparación presentada en un único conjunto privado de documentos.

Las consultas de entrenamiento se crean automáticamente

Para adaptar el modelo de búsqueda hacen falta ejemplos que indiquen qué consultas deben conducir a qué documentos. Crear estos ejemplos a mano requiere tiempo de empleados que conozcan el contenido de las páginas y las tareas reales de los usuarios.

Los autores proponen una metodología en la que los documentos sirven de base para generar y validar automáticamente consultas sobre sus páginas. No es necesario redactar manualmente las consultas de entrenamiento. Esta es la parte del trabajo más útil para trasladarla a otros entornos: el equipo obtiene una forma de preparar datos para su propio corpus especializado, en lugar de limitarse a elegir un modelo ya disponible según una clasificación ajena.

Sin embargo, la propia validación automática debe evaluarse. El anuncio no aclara cómo funciona exactamente, qué errores descarta ni hasta qué punto las consultas generadas se parecen a las peticiones reales de los usuarios. Antes de implantarla, conviene revisar una muestra manualmente: la consulta debe tener una respuesta en la página, corresponder a una tarea de trabajo y no revelar la respuesta en su propia formulación.

Qué significa la ventaja y cómo comprobarla

nDCG@5 evalúa la calidad del orden de los primeros cinco resultados teniendo en cuenta su relevancia. Una puntuación de 0,84 no debe interpretarse como «un 84% de respuestas correctas». La diferencia respecto a 0,77 es de 0,07 puntos de la métrica; describe los resultados de búsqueda, no la precisión de todo el sistema de respuestas.

Los autores señalan expresamente que X5-private no se utilizó en el entrenamiento. Es un detalle relevante, pero el carácter privado del corpus limita la verificación independiente. El anuncio tampoco aporta datos sobre el tamaño de la muestra, la solidez estadística de la ventaja, la latencia ni el coste de procesar los documentos.

El siguiente paso práctico es reunir un pequeño conjunto de prueba con consultas propias y páginas con respuestas verificadas. Compare el buscador actual basado en texto con la búsqueda visual sobre los mismos documentos, evaluando por separado tablas, gráficos y texto corriente. Después, mida el tiempo de indexación, la velocidad de recuperación y la calidad de la respuesta final. Si la mejora se concentra en las páginas complejas, habrá una base para elegir el enfoque adecuado para cada tipo de documento. La decisión de implantarlo debería basarse en esas mediciones, no en una única cifra obtenida con un corpus ajeno.

Fuente: anuncio del artículo en Habr.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el buscador necesita ver la página?

Imaginemos un informe de ventas. El usuario pregunta: «¿En qué región cayó más la facturación?». La respuesta está en un gráfico: los nombres de las regiones aparecen debajo de las barras, los valores se indican al lado y el periodo figura en el título. Tras extraer el texto, estos elementos pueden convertirse en una secuencia de palabras y cifras cuyas relaciones resultan difíciles de reconstruir. Se trata de un ejemplo hipotético, no de una prueba descrita por los autores.

¿Qué se sabe sobre Las consultas de entrenamiento se crean automáticamente?

Para adaptar el modelo de búsqueda hacen falta ejemplos que indiquen qué consultas deben conducir a qué documentos. Crear estos ejemplos a mano requiere tiempo de empleados que conozcan el contenido de las páginas y las tareas reales de los usuarios. Los autores proponen una metodología en la que los documentos sirven de base para generar y validar automáticamente consultas sobre sus páginas. No es necesario redactar manualmente las consultas de entrenamiento.

¿Qué se sabe sobre Qué significa la ventaja y cómo comprobarla?

nDCG@5 evalúa la calidad del orden de los primeros cinco resultados teniendo en cuenta su relevancia. Una puntuación de 0,84 no debe interpretarse como «un 84% de respuestas correctas». La diferencia respecto a 0,77 es de 0,07 puntos de la métrica; describe los resultados de búsqueda, no la precisión de todo el sistema de respuestas. Los autores señalan expresamente que X5-private no se utilizó en el entrenamiento. Es un detalle relevante, pero el carácter privado del corpus limita la verificación independiente.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…