África do Sul retira projeto de política de IA após descobrir referências científicas fabricadas

A África do Sul retirou seu projeto de política nacional de IA após descobrir referências científicas fabricadas no documento. A ironia é que o documento sobre regulação de IA foi provavelmente parcialmente preparado usando IA generativa — e o resultado não foi verificado antes da publicação.

O que aconteceu

O ministro das Comunicações e Tecnologias Digitais da África do Sul, Solly Malatsi, retirou o projeto de política em 27 de abril após uma revisão interna. O gatilho foi uma investigação do News24: jornalistas descobriram que pelo menos seis das 67 referências acadêmicas no documento de 86 páginas apontavam para trabalhos que não existem. Os nomes dos periódicos eram reais, mas os artigos em si não eram. O projeto havia passado anteriormente pelo gabinete em 25 de março e foi publicado em 10 de abril no diário oficial do governo para discussão pública. Os comentários deveriam ser aceitos até 10 de junho.

Segundo Malatsi, a explicação mais provável é que referências geradas por IA chegaram ao texto sem verificação adequada. O ministro prometeu ações contra os responsáveis pela preparação e controle de qualidade, pois o erro afetou não um rascunho, mas um documento oficial do governo.

O que havia no projeto

O documento foi concebido como um marco para a estratégia estatal de IA. Foi baseado em uma abordagem orientada por riscos, parcialmente inspirada pelo AI Act europeu, e propôs implementar a regulação em etapas: desde regras e recomendações básicas até estratégias setoriais e instituições separadas. O texto também discutiu subsídios, subvenções e incentivos fiscais para o setor privado.

O projeto apresentava várias estruturas e mecanismos novos:

• Comissão Nacional de IA
• conselho de ética de IA e regulador separado
• ombudsman de IA
• Instituto Nacional de Segurança de IA
• superfundo de seguros para casos de responsabilidade contestados

Além disso, o projeto oficial delineou seis direções estratégicas: desenvolvimento de força de trabalho, IA para crescimento inclusivo e emprego, governança responsável, IA ética e inclusiva, preservação cultural e integração internacional, e implementação de IA com prioridade nos interesses humanos.

Para o contexto africano, este era um marco ambicioso: o estado claramente queria simultaneamente estimular o mercado e criar seu próprio modelo de supervisão, em vez de simplesmente copiar regras europeias.

Onde o processo falhou

O problema acabou sendo não apenas as referências falsas em si, mas também o fato de que o documento passou por vários níveis de aprovação. Editores do South African Journal of Philosophy, AI & Society e Journal of Ethics and Social Philosophy confirmaram que os artigos citados nunca foram publicados em seus periódicos. Em outras palavras, não era um único erro descuidado, mas fontes plausíveis porém fabricadas que pareciam convincentes o suficiente para passar pela revisão do gabinete.

"Esta é uma falha inaceitável que mostra por que supervisão humana

rigorosa é necessária ao usar IA."

Esta história ilustra a fraqueza típica dos modelos generativos. Eles são excelentes em montar texto coerente e confiante e formatar referências como se você estivesse olhando para uma bibliografia acadêmica normal. Mas o modelo não é obrigado a verificar se o artigo realmente existe. Se uma equipe usa IA como rascunho e não valida manualmente cada referência, o erro facilmente chega ao documento final. No caso de um documento governamental, o custo de tal oversight é mais alto do que o usual: não apenas o texto está em jogo, mas também a confiança na instituição que está prestes a regular a própria tecnologia.

O que isso significa

O escândalo retrocedeu a agenda de IA da África do Sul: o projeto precisará ser reescrito, resubmetido para consulta e relegitimado. Para outros estados e empresas, a conclusão é simples: a IA pode ser usada na preparação de documentos, mas referências, citações e fatos devem ser verificados manualmente antes da publicação, não após um escândalo.

A história da África do Sul mostra que o risco mais doloroso da IA generativa não é uma falha ruidosa, mas um erro formatado com confiança descoberto muito tarde.