Los registros en conflicto, no la longitud: la precisión de los LLM cae del 97–100% al 11–21%

Lo habitual es creer que las redes neuronales se confunden con documentos largos simplemente porque hay demasiado texto. Investigadores de la Universidad de California en San Diego lo comprobaron en una tarea de búsqueda de un hecho dentro del contexto y obtuvieron una respuesta distinta. Imaginemos un sistema RAG en cuyo prompt han entrado dos versiones de un mismo archivo de configuración: la antigua y la nueva, con valores diferentes para el mismo parámetro.

Son justamente esos registros, y no los miles de tokens en sí, los que estropean la respuesta. Mientras el contexto de hasta 32 mil tokens está lleno de texto neutro, el modelo Qwen2.5-1.

5B responde correctamente en el 97–100% de los casos. Cuando esos mismos espacios los ocupan registros con el formato del hecho buscado, la precisión baja al 11–21%. La conclusión práctica: antes de enviar los datos al prompt conviene limpiar los duplicados en conflicto, y no solo acortar el documento.

Cómo se diseñó el experimento

La tarea es deliberadamente sencilla. En un texto largo se esconde una línea del tipo «el código secreto del río es 4821» y al final se pregunta cuál es el código del río. La línea se coloca a una profundidad aleatoria, y la longitud del contexto varía de 512 a 32 mil tokens. La prueba se ejecutó en cinco modelos abiertos de entre 0,5 y 3 mil millones de parámetros, pertenecientes a cuatro familias, entre ellas Qwen2.5, Llama-3.2, SmolLM2 y OLMo-2.

La regla principal del diseño: la longitud y la posición de la línea buscada son siempre las mismas; solo cambia lo que la rodea. En una variante, son números aleatorios, palabras aleatorias o una única frase repetida. En otra, son registros con la plantilla de la línea buscada y con claves tomadas de un conjunto de 51 sustantivos. Hay también una tercera variante: el mismo texto neutro se oculta a la atención del modelo, pero se conservan las posiciones de los tokens.

Qué muestran las mediciones

Con texto neutro, la precisión se mantiene en el 97–100% en cuatro de los cinco modelos: hasta 4 mil tokens en los cuatro y hasta 32 mil en Qwen2.5-1.5B. La excepción es OLMo-2-1B: con 2048 tokens de texto neutro pierde 0,57 nat (precisión del 91%). El nat es aquí la unidad de pérdida sobre la probabilidad de la respuesta correcta: cuanto mayor, peor.

Los registros con el formato de la línea buscada reducen la precisión al 11–21% con longitudes de 8 a 32 mil tokens. El caso más dañino es un registro con la misma clave y otro valor. Un solo registro así multiplica las pérdidas del modelo entre 9 y 110 veces, y cada uno adicional las aumenta aún más. Comparación en Qwen2.5-1.5B con 32 mil tokens: el texto neutro cuesta 0,004 nat, el texto neutro oculto, 1,20 nat, y los registros competidores, 4,76 nat. Las pérdidas medianas con competidores en este modelo son de 2,82, 3,94, 4,03 y 4,76 nat con 8, 16, 24 y 32 mil tokens, respectivamente.

Dentro del modelo, los autores siguieron una magnitud: la proporción de atención que permanece en la línea buscada. La calcularon a partir de las ocho cabezas de atención que más se fijan en esa línea, desde el último token de la consulta. En 126 473 ejecuciones, esta proporción explica entre el 35 y el 58% de la dispersión de las pérdidas, mientras que el logaritmo de la longitud del contexto explica solo el 2–8%. La brecha se mantiene con longitudes de 8 a 32 mil tokens. La idea, resumida, es sencilla: los registros parecidos le quitan atención al correcto, y eso es lo que coincide con los errores.

Por qué no se confirmó que «la longitud perjudica por sí sola»

Trabajos anteriores ocultaban a la atención los tokens sobrantes conservando las posiciones, observaban una caída de precisión y de ahí concluían que la longitud es dañina. Los autores reprodujeron ese experimento con 1000 preguntas de MMLU en Llama-3.2-3B y Qwen2.5-7B-Instruct: con 30 mil tokens ocultos, las pérdidas fueron de 11–18 puntos. Pero en la tarea de búsqueda, ese mismo enmascaramiento cuesta 46 puntos de precisión con 32 mil tokens, mientras que el mismo texto, si se deja visible, no cuesta nada. Por tanto, ese protocolo no mide el coste puro de la longitud.

Qué hacer con esto

Para la práctica importa menos el número de tokens que el número de afirmaciones que contradicen la respuesta correcta. Las redacciones obsoletas de contratos, los borradores y los duplicados de logs con valores distintos son los vecinos más peligrosos para el fragmento buscado. Los autores también publicaron en GitHub y Hugging Face el código, la herramienta de medición de la atención y las 126 mil mediciones, de modo que, con modelos abiertos, cualquiera puede comprobar por sí mismo la proporción de atención sobre el fragmento relevante.

Hay también limitaciones. Los modelos son pequeños, de 0,5 a 3 mil millones de parámetros, y la tarea es una simple búsqueda de un valor por clave, no documentos corporativos reales. La relación entre atención y errores se obtuvo a partir de la estadística de las ejecuciones. Por eso, la conclusión se refiere específicamente a la búsqueda de hechos en contextos largos, y no a todas las tareas con entradas largas.