A ironia: alucinações em artigos da NeurIPS, uma das principais conferências de IA

Na era da inteligência artificial generativa, nem as conferências científicas mais prestigiadas estão a salvo de problemas. Um estudo da startup GPTZero encontrou casos de "alucinações" — citações fictícias geradas por IA — em trabalhos apresentados na NeurIPS, uma das principais conferências de inteligência artificial. A ironia é evidente: uma conferência dedicada aos avanços de ponta em IA foi vítima de seus próprios efeitos colaterais.

A GPTZero, empresa especializada em detectar texto gerado por inteligência artificial, analisou um corpus de artigos aceitos na NeurIPS. Os resultados são preocupantes: vários trabalhos traziam referências a fontes inexistentes, criadas, ao que tudo indica, por grandes modelos de linguagem (LLMs). Isso levanta dúvidas não só sobre a qualidade de artigos específicos, mas sobre todo o sistema de revisão científica.

O problema das alucinações em LLMs é bem conhecido. Treinados com enormes volumes de dados, os modelos às vezes "inventam" fatos ou citações para preencher lacunas no conhecimento ou deixar o texto mais convincente. Em trabalhos científicos, isso pode ter consequências graves: abala a confiança na pesquisa e dificulta a verificação dos resultados.

A descoberta de citações geradas por IA em artigos da NeurIPS levanta várias questões importantes. Primeiro, mostra que é preciso verificar com mais rigor o uso de inteligência artificial nos trabalhos científicos. Os revisores precisam prestar mais atenção aos detalhes e conferir de novo as fontes citadas. Segundo, ressalta a importância de desenvolver ferramentas para detectar texto gerado por IA e incorporá-las ao processo de publicação científica.

Além disso, o episódio faz refletir sobre o futuro da pesquisa científica na era da IA. Por um lado, a inteligência artificial pode se tornar uma ferramenta poderosa para cientistas, ajudando a analisar dados, gerar hipóteses e escrever artigos. Por outro, é preciso considerar os riscos do uso da IA e tomar medidas para evitar abusos.

No fim das contas, a descoberta de alucinações em artigos da NeurIPS é um sinal de alerta. Ela lembra que a inteligência artificial é apenas uma ferramenta e que seu uso exige responsabilidade e pensamento crítico. A comunidade científica deve criar regras e procedimentos claros para trabalhar com IA, a fim de garantir a qualidade e a confiabilidade da pesquisa científica.