Agulha no Palheiro
Agulha no Palheiro é um teste de avaliação de contexto longo que mede se um modelo de linguagem consegue recuperar com precisão um fato específico plantado (a "agulha") de um grande corpus de texto irrelevante (o "palheiro") em posições e comprimentos de contexto variados, revelando os limites práticos da recuperação em contexto longo.
Agulha no Palheiro é uma metodologia de avaliação para modelos de linguagem de contexto longo, popularizada pelo pesquisador independente Greg Kamradt em novembro de 2023. O teste insere um fato curto e distintivo—a agulha—em uma posição precisamente controlada dentro de um grande bloco de texto de preenchimento não relacionado, como artigos de notícias concatenados ou passagens da Wikipedia. O modelo é então solicitado a recuperar esse fato específico. Repetindo o procedimento em uma grade de comprimentos totais de contexto e profundidades de agulha (expressas como uma porcentagem do comprimento total do documento de 0% a 100%), o avaliador obtém uma matriz bidimensional de pontuações de precisão de recuperação.
Os resultados são tipicamente representados como um mapa de calor codificado por cores: comprimento do contexto em um eixo, profundidade da agulha no outro, com a cor indicando se o modelo recuperou corretamente o fato plantado. Esta visualização expõe modos de falha sistemáticos que figuras de precisão agregadas ocultam. Muitos modelos iniciais de contexto longo mostraram degradação acentuada quando a agulha foi colocada no terço do meio de um documento longo—um padrão consistente com o efeito independentemente documentado "perdido no meio", onde mecanismos de atenção atribuem menor peso aos tokens distantes de ambas as extremidades da janela de contexto. Modelos anunciados como suportando contextos de 100K tokens frequentemente obtiveram pontuações próximas ao acaso em profundidade de 50–70% para entradas excedendo aproximadamente 32K tokens.
O teste ganhou adoção rápida durante 2024 porque fornecia uma demonstração intuitiva de que os tamanhos de janela de contexto anunciados e os comprimentos de contexto praticamente utilizáveis eram frequentemente quantidades diferentes. Anthropic, Google e OpenAI incorporaram resultados de Agulha no Palheiro em relatórios técnicos para Claude 2.1, Gemini 1.5 Pro e GPT-4 Turbo respectivamente, usando recuperação quase perfeita de janela completa como uma reivindicação diferenciadora. A recuperação quase perfeita relatada do Gemini 1.5 Pro de até 1 milhão de tokens no início de 2024 atraiu atenção particular.
Em 2025–2026, os modelos líderes em sua maioria alcançam recuperação quase perfeita de agulha única em todas as suas janelas de contexto completas, tornando o teste básico insuficiente como uma medida isolada de competência em contexto longo. Pesquisadores estenderam a metodologia para recuperação de múltiplas agulhas (vários fatos espalhados, todos devem ser recuperados), configurações de agulha-e-distrator (fatos similares mas incorretos também incorporados) e haystacks multilíngues. O teste de agulha única original persiste como uma verificação de sanidade de linha de base e uma barra mínima para qualquer sistema reivindicando capacidade de contexto longo.