En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoPesos abiertos · Listo para usarHugging Face Daily Papers→ original

Por qué RAG y los prompts largos se vuelven torpes: un solo hecho en conflicto hunde la precisión de los LLM pequeños del 97% al 11%

Investigadores de la Universidad de California en San Diego (UCSD) probaron cinco modelos abiertos de 0,5 a 3.000 millones de parámetros en la extracción de hechos de contextos de hasta 32K tokens. El ruido de fondo habitual en el prompt apenas perjudica: Qwen2.5-1.5B mantiene una precisión del 97–100%. Pero basta con añadir al contexto un solo hecho en conflicto con el mismo formato (por ejemplo, un valor obsoleto del mismo campo procedente de una base de datos o un chat) para que la precisión caiga al 11–21%. La conclusión práctica para quienes desarrollan RAG: antes de pasar fragmentos a un modelo compacto, hay que deduplicar las versiones contradictorias de un mismo hecho.

Procesado por IA desde Hugging Face Daily Papers; editado por Hamidun News
Por qué RAG y los prompts largos se vuelven torpes: un solo hecho en conflicto hunde la precisión de los LLM pequeños del 97% al 11%
Fuente: Hugging Face Daily Papers. Collage: Hamidun News.
Escuchar artículo

Suele darse por hecho que las redes neuronales se pierden en documentos largos simplemente porque hay demasiado texto. Investigadores de la Universidad de California en San Diego lo comprobaron con una tarea de búsqueda de un hecho en el contexto y obtuvieron otra respuesta. Imagine un sistema RAG cuyo prompt incluye dos versiones de una misma configuración: una antigua y otra nueva, con valores distintos para el mismo parámetro.

Son registros como estos, y no los miles de tokens en sí, los que rompen la respuesta. Mientras un contexto de hasta 32.000 tokens está lleno de texto neutro, Qwen2.

5-1.5B responde bien en el 97–100% de los casos. Cuando esos mismos espacios los ocupan registros con el formato del hecho buscado, la precisión baja al 11–21%.

Conclusión práctica: antes de enviar contenido al prompt conviene limpiar los duplicados en conflicto, y no solo acortar el documento.

Cómo es el experimento

La tarea es deliberadamente sencilla. En un texto largo se esconde una línea como «el código secreto del río es 4821» y al final se pregunta cuál es el código del río. La línea está a una profundidad aleatoria y la longitud del contexto varía de 512 a 32.000 tokens. La prueba se ejecutó con cinco modelos abiertos de entre 0,5 y 3.000 millones de parámetros, de cuatro familias, entre ellas Qwen2.5, Llama-3.2, SmolLM2 y OLMo-2.

La regla principal del diseño: la longitud y la posición de la línea buscada son siempre las mismas; solo cambia lo que la rodea. En una variante son números aleatorios, palabras aleatorias o una misma frase repetida. En otra, registros con la plantilla de la línea buscada y claves tomadas de un conjunto de 51 sustantivos. Hay una tercera variante: ese mismo texto neutro se oculta a la atención del modelo, pero se conservan las posiciones de los tokens.

Qué mostraron las mediciones

Con texto neutro, la precisión se mantiene en el 97–100% en cuatro de los cinco modelos: hasta 4.000 tokens en los cuatro y hasta 32.000 en Qwen2.5-1.5B. La excepción es OLMo-2-1B: con 2048 tokens de texto neutro pierde 0,57 nats (precisión del 91%). Un nat es aquí una unidad de pérdida sobre la probabilidad de la respuesta correcta: cuanto mayor, peor.

Los registros con el formato de la línea buscada, con longitudes de 8.000 a 32.000 tokens, hunden la precisión hasta el 11–21%. El caso más dañino es un registro con la misma clave y otro valor. Un solo registro así multiplica la pérdida del modelo entre 9 y 110 veces, y cada nuevo registro añade más. Comparación en Qwen2.5-1.5B con 32.000 tokens: el texto neutro cuesta 0,004 nats, el texto neutro oculto, 1,20 nats, y los registros rivales, 4,76 nats. Las pérdidas medianas con rivales en este modelo son de 2,82, 3,94, 4,03 y 4,76 nats con 8.000, 16.000, 24.000 y 32.000 tokens.

Dentro del modelo, los autores siguieron una magnitud: la proporción de atención que permanece en la línea buscada. La calcularon sobre las ocho cabezas de atención que más se fijan en esa línea, desde el último token de la consulta. En 126.473 ejecuciones, esta proporción explica entre el 35 y el 58% de la variación de la pérdida, mientras que el logaritmo de la longitud del contexto explica solo el 2–8%. La brecha se mantiene en longitudes de 8.000 a 32.000 tokens. La idea, en corto: los registros parecidos le quitan atención al correcto, y eso es lo que coincide con los errores.

Por qué no se confirmó que «la longitud perjudica por sí sola»

Trabajos anteriores ocultaban tokens sobrantes a la atención conservando las posiciones y observaban una caída de la precisión, de lo que concluían que la longitud era perjudicial. Los autores lo reprodujeron con 1000 preguntas de MMLU usando Llama-3.2-3B y Qwen2.5-7B-Instruct: con 30.000 tokens ocultos, las pérdidas fueron de 11–18 puntos. Pero en la tarea de búsqueda, el mismo enmascaramiento cuesta 46 puntos de precisión con 32.000 tokens, mientras que el mismo texto dejado visible no cuesta nada. Por tanto, ese protocolo no mide el coste puro de la longitud.

Qué hacer al respecto

En la práctica importa menos el número de tokens que el número de afirmaciones que contradicen la respuesta correcta. Las versiones obsoletas de contratos, los borradores y los registros duplicados con otros valores son los vecinos más peligrosos del fragmento buscado. Los autores también publicaron en GitHub y Hugging Face el código, la herramienta de medición de atención y las 126.000 mediciones, de modo que con modelos abiertos se puede comprobar por cuenta propia la proporción de atención sobre el fragmento buscado.

Hay también limitaciones. Los modelos son pequeños, de 0,5 a 3.000 millones de parámetros, y la tarea es una simple búsqueda de un valor por clave, no documentos corporativos reales. La relación entre atención y errores se obtuvo a partir de estadísticas de las ejecuciones. Por eso la conclusión se refiere específicamente a la búsqueda de hechos en contextos largos, y no a todas las tareas con entradas largas.

Historia

Preguntas frecuentes sobre la noticia

Cómo es el experimento?

La tarea es deliberadamente sencilla. En un texto largo se esconde una línea como «el código secreto del río es 4821» y al final se pregunta cuál es el código del río. La línea está a una profundidad aleatoria y la longitud del contexto varía de 512 a 32.000 tokens. La prueba se ejecutó con cinco modelos abiertos de entre 0,5 y 3.000 millones de parámetros, de cuatro familias, entre ellas Qwen2.5, Llama-3.2, SmolLM2 y OLMo-2.

¿Qué se sabe sobre Qué mostraron las mediciones?

Con texto neutro, la precisión se mantiene en el 97–100% en cuatro de los cinco modelos: hasta 4.000 tokens en los cuatro y hasta 32.000 en Qwen2.5-1.5B. La excepción es OLMo-2-1B: con 2048 tokens de texto neutro pierde 0,57 nats (precisión del 91%). Un nat es aquí una unidad de pérdida sobre la probabilidad de la respuesta correcta: cuanto mayor, peor. Los registros con el formato de la línea buscada, con longitudes de 8.000 a 32.000 tokens, hunden la precisión hasta el 11–21%.

¿Qué se sabe sobre Por qué no se confirmó que «la longitud perjudica por sí sola»?

Trabajos anteriores ocultaban tokens sobrantes a la atención conservando las posiciones y observaban una caída de la precisión, de lo que concluían que la longitud era perjudicial. Los autores lo reprodujeron con 1000 preguntas de MMLU usando Llama-3.2-3B y Qwen2.5-7B-Instruct: con 30.000 tokens ocultos, las pérdidas fueron de 11–18 puntos. Pero en la tarea de búsqueda, el mismo enmascaramiento cuesta 46 puntos de precisión con 32.000 tokens, mientras que el mismo texto dejado visible no cuesta nada.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…