Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoAnálisis · En radarQdrant Blog→ original

papr-embed-code-1 localiza código con 3 p. p. más de precisión que Qwen3, y su vector se comprime 31 veces

Qdrant analizó si la búsqueda en código necesita un modelo de embeddings especializado. Con código que no había visto en el entrenamiento, papr-embed-code-1 encuentra lo correcto con más precisión que el Qwen3-Embedding original: la versión 4B mejora en 3,4 p. p. la métrica nDCG@10 y la versión 0.6B, en 2,6 p. p. En textos corrientes, ambas rinden algo peor, así que para prosa conviene quedarse con el modelo base. Y al comprimir el vector de 4B a 1 bit, pesa 31 veces menos.

Procesado por IA desde Qdrant Blog; editado por Hamidun News
papr-embed-code-1 localiza código con 3 p. p. más de precisión que Qwen3, y su vector se comprime 31 veces
Fuente: Qdrant Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalQdrant Blog ↗
Editor jefe
Vector de 4B328 bytes en 1 bit frente a 10 KB en float32
Dato clave #24B con 1 bit es más preciso que 0.6B en float32 y ocupa 12 veces menos RAM
El híbrido con BM25 no ayudócon pesos iguales, la calidad cayó entre 2 y 17 p. p.

Imagine que construye un buscador para una base de código enorme: el desarrollador escribe «función que lee un CSV y devuelve un diccionario» y el sistema debe encontrar la función adecuada entre cientos de miles. Para ello, el código se convierte en vectores de embeddings, y surge la pregunta: ¿conviene usar un modelo ajustado específicamente con código o basta con uno universal potente? El equipo de Qdrant lo comprobó con el modelo abierto papr-embed-code-1, construido sobre Qwen3-Embedding.

El resultado: con código que el modelo no vio durante el entrenamiento, supera al original en 3,4 p. p. (versión 4B) y 2,6 p.

p. (versión 0.6B) en la métrica nDCG@10.

Esta métrica indica en qué posición de los diez primeros resultados aparecen las respuestas correctas; «p. p.» son puntos porcentuales, es decir, 0,034 en una escala de 0 a 1.

Y si cada vector se comprime a 1 bit, pesa 31 veces menos: 328 bytes en lugar de 10 KB.

Por qué no conviene fiarse de las cifras llamativas de Papr

papr-embed-code-1 es Qwen3-Embedding con entrenamiento adicional en búsqueda de código. Hay dos tamaños, 0.6B y 4B, y los pesos son abiertos. Papr declara resultados récord en el benchmark CoIR, pero la propia empresa señala en la ficha del modelo que se entrenó con casi todos los datos de entrenamiento de ese benchmark. Una puntuación alta en él dice poco.

Por eso Qdrant planteó una pregunta más acotada: ¿supera el modelo a su versión base con código que no ha visto? Las pruebas incluyeron la selección de una función de Python a partir de la descripción de una tarea, la búsqueda de archivos de una biblioteca a partir de una pregunta de Stack Overflow, la selección de una consulta SQL para una pregunta sobre una tabla y la correspondencia entre un programa y su versión en otro lenguaje. Ambos modelos recibieron las mismas instrucciones en las consultas.

Qdrant reprodujo las cifras de Papr con una precisión de 0,001 nDCG@10. La excepción son las tareas con muchos documentos idénticos, donde el resultado depende de cómo se resuelvan los empates. Allí Qdrant obtuvo 62,5% y 65,0%, frente al 72,0% y 72,3% declarados.

La mejora en código existe; en prosa, no

Con código desconocido, ambos modelos superaron al base en todas las tareas, aunque el tamaño de la mejora varía. En HumanEval, el 4B base ya alcanzaba el 98%, así que apenas había margen. En WikiSQL, la versión 4B mejoró 7,0 p. p.

En textos corrientes ocurre lo contrario: 0.6B perdió de media 0,3 p. p. y 4B, 1,6 p. p. En TREC-COVID (artículos científicos sobre COVID-19), la versión 0.6B cayó 6,5 p. p. Por eso, si busca sobre todo en prosa, quédese con el modelo base.

El mayor ahorro está en la compresión de vectores

El código genera muchísimos vectores: uno por función o por fragmento de archivo. En 4B, el vector consta de 2560 números y ocupa unos 10 KB en float32. Con la cuantización de 1 bit de TurboQuant pesa 328 bytes. En siete tareas de código, la compresión sin verificación posterior conservó el 99,7% de la calidad de float32, y con reevaluación de candidatos (rescoring con margen 2x), toda la calidad.

De ahí surge una elección poco intuitiva: 4B en 1 bit puntúa más que 0.6B en float32 y ocupa 12 veces menos memoria RAM. El precio es la velocidad: 4B calcula los embeddings unas cuatro veces más lento en la misma tarjeta gráfica. Y en WikiSQL, el modelo pequeño acabó por delante.

También se probó una escala grande: 1 005 474 fragmentos de código en seis lenguajes en una sola colección, con la búsqueda limitada al lenguaje de la consulta. La búsqueda exhaustiva (fuerza bruta) da 92,3%. Con el parámetro HNSW ef=128, la búsqueda de 1 bit con reevaluación conservó el 99,5% de ese resultado, frente al 99,7% de float32, y fue más rápida: 1,0 ms por consulta frente a 1,8 ms. Subir ef a 256 añadió entre 0,2 y 0,4 p. p. de nDCG@10, y la búsqueda de 1 bit tardó 1,4 ms frente a 2,9 ms de float32. Sin filtro por lenguaje, la calidad baja entre 0,5 y 0,7 p. p.

BM25 combinado con la búsqueda vectorial no ayudó

El código contiene muchos nombres exactos, y la búsqueda por palabras clave BM25 parecía un complemento natural; en Qdrant 1.20 incluso se añadió un tokenizador para código. Pero BM25 por sí solo se quedó muy atrás: en APPS, donde la consulta es el enunciado de la tarea y el documento es la solución a secas, obtuvo un 1%, porque casi no hay palabras en común. La fusión con la búsqueda vectorial con pesos iguales empeoró cada tarea entre 2 y 17 p. p. para 4B. Con un peso de BM25 de 0,1, el resultado quedó 0,06 p. p. por debajo del de la búsqueda vectorial sola, y la mayor mejora en cualquier tarea fue de 0,2 p. p.

Qué hacer en la práctica

Para buscar en código, un modelo ajustado está justificado; para prosa, no. Si puede permitirse 4B, guárdelo en 1 bit con la reevaluación activada y suba primero ef antes que el número de bits. Compare el resultado con la colección sin comprimir usando sus propias consultas: una vez sin reevaluación y otra con margen 2x. Si hay varios lenguajes en una misma colección, filtre por lenguaje. Lo mejor es no activar BM25; si los usuarios buscan identificadores exactos, pruébelo por separado y con un peso bajo. Tenga en cuenta que la prueba de Qdrant usa su propio conjunto de tareas, y con su corpus las cifras pueden ser distintas.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué no conviene fiarse de las cifras llamativas de Papr?

papr-embed-code-1 es Qwen3-Embedding con entrenamiento adicional en búsqueda de código. Hay dos tamaños, 0.6B y 4B, y los pesos son abiertos. Papr declara resultados récord en el benchmark CoIR, pero la propia empresa señala en la ficha del modelo que se entrenó con casi todos los datos de entrenamiento de ese benchmark. Una puntuación alta en él dice poco. Por eso Qdrant planteó una pregunta más acotada: ¿supera el modelo a su versión base con código que no ha visto?

¿Qué se sabe sobre La mejora en código existe; en prosa, no?

Con código desconocido, ambos modelos superaron al base en todas las tareas, aunque el tamaño de la mejora varía. En HumanEval, el 4B base ya alcanzaba el 98%, así que apenas había margen. En WikiSQL, la versión 4B mejoró 7,0 p. p. En textos corrientes ocurre lo contrario: 0.6B perdió de media 0,3 p. p. y 4B, 1,6 p. p. En TREC-COVID (artículos científicos sobre COVID-19), la versión 0.6B cayó 6,5 p. p. Por eso, si busca sobre todo en prosa, quédese con el modelo base.

¿Qué se sabe sobre El mayor ahorro está en la compresión de vectores?

El código genera muchísimos vectores: uno por función o por fragmento de archivo. En 4B, el vector consta de 2560 números y ocupa unos 10 KB en float32. Con la cuantización de 1 bit de TurboQuant pesa 328 bytes. En siete tareas de código, la compresión sin verificación posterior conservó el 99,7% de la calidad de float32, y con reevaluación de candidatos (rescoring con margen 2x), toda la calidad.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…