PubHealthBench: 7929 perguntas mostram como o RAG protege a IA contra alucinações na medicina

Pesquisadores estenderam o benchmark PubHealthBench — um conjunto de 7929 perguntas sobre as diretrizes oficiais do governo do Reino Unido na área de saúde pública — para um cenário com retrieval-augmented generation (RAG). Em seguida, verificaram de forma sistemática como diferentes configurações de busca e geração afetam a precisão das respostas da IA. O artigo foi publicado no arXiv em 7 de julho de 2026.

Por que LLMs na medicina precisam de RAG

Grandes modelos de linguagem apresentam resultados promissores em benchmarks médicos de perguntas e respostas, mas seu uso em saúde pública esbarra em alucinações e na rápida atualização das diretrizes oficiais. O RAG reduz esses riscos ao ancorar as respostas do modelo em um corpus de documentos mantido de forma explícita. Ainda assim, a qualidade final depende muito da configuração da busca e de como o resultado é avaliado — e não apenas no formato de múltipla escolha.

O que revelou a comparação dos métodos de busca

Os autores compararam busca densa (dense), esparsa (sparse) e híbrida em vários modelos de embeddings e variações do corpus.

• A busca híbrida melhora de forma consistente o recall e a qualidade do ranqueamento dos resultados
• O tamanho do trecho de texto (chunk length) e o tema da consulta influenciam a qualidade do ranqueamento
• Adicionar o contexto recuperado eleva significativamente a precisão nas respostas de múltipla escolha em LLMs bem diferentes entre si
• Modelos abertos pequenos com RAG igualam ou superam modelos maiores sem RAG
• O ganho de precisão depende sobretudo da qualidade da busca e de uma seleção cuidadosa do contexto

Como as respostas dissertativas foram avaliadas

Para avaliar respostas dissertativas realistas, e não só a escolha de uma alternativa, os autores propuseram um LLM juiz baseado em uma rubrica que cobre fidelidade (faithfulness), completude, clareza e consistência factual. Os resultados do juiz foram validados com dupla anotação humana. A concordância entre o modelo juiz e os humanos foi mais forte nos critérios de fidelidade e completude, enquanto consistência factual e clareza foram reproduzidas de forma menos confiável — o que pede mais cautela ao interpretar avaliações desses dois critérios em larga escala.

O que isso significa

Os resultados indicam que a qualidade da busca é a principal alavanca para respostas confiáveis de IA sobre saúde pública. Mesmo modelos abertos pequenos conseguem competir com os grandes, desde que a parte de busca do sistema esteja bem configurada.

Perguntas frequentes

O que é o PubHealthBench?

É um benchmark de perguntas e respostas com 7929 perguntas elaboradas a partir das diretrizes oficiais do governo do Reino Unido sobre saúde pública; neste trabalho, ele foi estendido para um cenário com RAG.

Um modelo pequeno pode substituir um grande com a ajuda do RAG?

Sim — segundo os autores, fornecer o contexto recuperado permite que modelos abertos pequenos igualem ou superem modelos maiores que operam sem RAG.