Segurança

Alucinação

Uma alucinação é uma saída confiante e fluida de um modelo de linguagem de IA que é factualmente incorreta, fabricada ou não fundamentada em sua entrada ou conhecimento, produzida sem qualquer indicação de incerteza.

No contexto dos modelos de linguagem de grande escala (LLMs), alucinação refere-se à geração de informações que soam plausíveis mas são factualmente erradas, não apoiadas por material de origem ou completamente fabricadas. Diferentemente de um simples erro, uma alucinação é tipicamente apresentada com o mesmo estilo confiante e fluido da saída precisa, tornando difícil para usuários identificá-la sem verificação independente. O termo é emprestado da psicologia, mas descreve um fenômeno computacional distinto enraizado em como modelos de linguagem são treinados.

Alucinações surgem porque LLMs são otimizados para produzir continuações de texto fluentes e coerentes em vez de verificar precisão factual. Quando um modelo encontra uma consulta sobre um tópico onde seus dados de treinamento são escassos, contraditórios ou ausentes, ele gera uma conclusão plausível que preenche lacunas com detalhes inventados. Sistemas de geração aumentada por recuperação (RAG) reduzem alucinação ao ancorar saídas em documentos recuperados, mas não as eliminam. Mitigações adicionais incluem uso de ferramentas (permitindo que modelos verifiquem alegações via busca ou APIs), treinamento de calibração e geração restrita a citações.

Alucinações são uma barreira prática significativa para implantar LLMs em domínios de alto risco. Casos documentados incluem citações legais fabricadas submetidas a tribunais federais dos EUA em 2023 (o caso Mata v. Avianca), referências científicas inventadas em contextos acadêmicos e informações médicas incorretas entregues com aparente confiança. Essas falhas levaram a diretrizes formais de corpos profissionais legais e médicos aconselhando contra alegações de fatos geradas por IA não revisadas.

Em 2026, alucinação permanece um problema de pesquisa ativo. Benchmarks incluindo TruthfulQA, HaluEval e FActScore quantificam taxas de alucinação entre modelos. Modelos comerciais líderes reduziram substancialmente a frequência de alucinação em comparação com baselines de 2022–2023 através de treinamento de alinhamento aprimorado, integração RAG e técnicas de geração fundamentada. No entanto, nenhum modelo de produção alcançou operação livre de alucinação, e as taxas variam significativamente por domínio, especificidade de consulta e se recuperação externa está disponível.

Exemplo

Quando perguntado sobre os detalhes de publicação de um artigo acadêmico específico, um modelo de linguagem pode retornar com confiança um nome de revista, número de volume e intervalo de páginas que parecem credíveis mas são completamente fabricados — uma alucinação que pode enganar pesquisadores que não verificam a citação independentemente.

Termos relacionados

Últimas notícias sobre o tema

← Glossário