Aguja en un Pajar
Aguja en un Pajar es una prueba de evaluación para contextos largos que mide si un modelo de lenguaje puede recuperar con precisión un hecho específico plantado (la «aguja») de un gran corpus de texto irrelevante (el «pajar») en posiciones variadas y longitudes de contexto, revelando los límites prácticos de la recuperación en contextos largos.
Aguja en un Pajar es una metodología de evaluación para modelos de lenguaje de contexto largo, popularizada por el investigador independiente Greg Kamradt en noviembre de 2023. La prueba inserta un hecho corto y distintivo —la aguja— en una posición precisamente controlada dentro de un gran bloque de texto de relleno no relacionado, como artículos de noticias concatenados o pasajes de Wikipedia. Luego se pide al modelo que recupere ese hecho específico. Al repetir el procedimiento en una cuadrícula de longitudes de contexto total y profundidades de aguja (expresadas como porcentaje de la longitud total del documento del 0% al 100%), el evaluador obtiene una matriz bidimensional de puntuaciones de precisión de recuperación.
Los resultados se presentan típicamente como un mapa de calor codificado por colores: longitud de contexto en un eje, profundidad de aguja en el otro, con el color indicando si el modelo recordó correctamente el hecho plantado. Esta visualización expone modos de fallo sistemáticos que las cifras de precisión agregadas ocultan. Muchos modelos tempranos de contexto largo mostraron degradación aguda cuando la aguja se colocaba en el tercio medio de un documento largo, un patrón consistente con el efecto «perdido en el medio» documentado independientemente, donde los mecanismos de atención asignan menor peso a los tokens alejados de ambos extremos de la ventana de contexto. Los modelos publicitados como compatibles con contextos de 100K tokens frecuentemente obtuvieron puntuaciones cercanas al azar al 50-70% de profundidad para entradas que excedían aproximadamente 32K tokens.
La prueba ganó adopción rápida en 2024 porque proporcionó una demostración intuitiva de que los tamaños de ventana de contexto publicitados y las longitudes de contexto prácticamente utilizables eran a menudo cantidades diferentes. Anthropic, Google y OpenAI incorporaron resultados de Aguja en un Pajar en informes técnicos para Claude 2.1, Gemini 1.5 Pro y GPT-4 Turbo respectivamente, utilizando la recuperación casi perfecta de ventana completa como una afirmación diferenciadora. La recuperación casi perfecta reportada de Gemini 1.5 Pro de hasta 1 millón de tokens a principios de 2024 atrajo particular atención.
Para 2025-2026, los modelos líderes en gran medida logran recuperación de aguja única casi perfecta en todas sus ventanas de contexto completo, haciendo que la prueba básica sea insuficiente como una medida autónoma de la competencia en contexto largo. Los investigadores han extendido la metodología a recuperación multi-aguja (varios hechos dispersos, todos deben ser recordados), configuraciones de aguja y distractor (hechos similares pero incorrectos también incrustados), y pajares multilingües. La prueba original de aguja única persiste como una verificación de cordura de base y una barra mínima para cualquier sistema que afirme capacidad de contexto largo.