África do Sul retira rascunho de política de IA após encontrarem referências científicas inventadas

A África do Sul retirou o rascunho de sua política nacional de IA depois que referências científicas inventadas foram encontradas no documento. A ironia é que um texto sobre regulação de IA provavelmente foi preparado em parte com IA generativa, e ninguém conferiu o resultado antes de publicá-lo.

O que aconteceu

O ministro das Comunicações e Tecnologias Digitais da África do Sul, Solly Malatsi, retirou o rascunho em 27 de abril, após uma revisão interna. O estopim foi uma investigação do News24: os jornalistas perceberam que ao menos seis das 67 referências acadêmicas do documento de 86 páginas apontam para trabalhos que não existem. Os nomes das revistas eram reais, mas os artigos não.

O rascunho já havia passado pelo gabinete em 25 de março e, em 10 de abril, foi publicado no diário oficial do governo para consulta pública. Os comentários eram aceitos até 10 de junho.

Segundo Malatsi, a explicação mais provável é que referências geradas por IA entraram no texto sem a devida verificação. O ministro prometeu medidas contra os responsáveis pela preparação e pelo controle de qualidade, porque o erro atingiu não um rascunho de trabalho, mas um documento oficial do Estado.

O que havia no rascunho

O documento foi concebido como base para a estratégia estatal de IA. Ele adotava uma abordagem baseada em risco, em parte inspirada no AI Act europeu, e propunha implantar a regulação em etapas: de regras básicas e recomendações a estratégias setoriais e instituições específicas. O texto também citava subsídios, incentivos e benefícios fiscais para o setor privado.

O rascunho previa várias novas estruturas e mecanismos ao mesmo tempo:

• Comissão Nacional de IA
• conselho de ética em IA e um regulador separado
• ouvidor de IA
• instituto nacional de segurança em IA
• superfundo de seguros para casos controversos de responsabilidade

Além disso, o rascunho oficial definia seis eixos estratégicos: desenvolvimento de mão de obra, IA para crescimento inclusivo e emprego, governança responsável, IA ética e inclusiva, preservação cultural e integração internacional, e adoção de IA com prioridade para as pessoas.

Para o contexto africano, era um marco ambicioso: o Estado claramente queria estimular o mercado e criar, ao mesmo tempo, um modelo próprio de supervisão, em vez de simplesmente copiar as regras europeias.

Onde o processo falhou

O problema não estava só nas referências falsas, mas no fato de o documento ter passado por vários níveis de aprovação. Os editores do South African Journal of Philosophy, AI & Society e Journal of Ethics and Social Philosophy confirmaram que os artigos citados nunca foram publicados em suas revistas.

Ou seja, não foi um descuido isolado, mas um conjunto de fontes plausíveis e inventadas, convincentes o bastante para passar por uma checagem de gabinete.

"É uma falha inaceitável, que mostra por que o uso de IA exige

controle humano rigoroso."

O caso ilustra uma fraqueza típica dos modelos generativos. Eles produzem textos coerentes e seguros e formatam referências como se fossem uma bibliografia acadêmica normal. Mas o modelo não tem obrigação de verificar se o artigo realmente existe. Se uma equipe usa a IA como rascunho e depois não valida cada referência manualmente, o erro chega fácil ao documento final.

No caso de um documento de governo, o custo dessa falha é maior que o normal: o que sofre não é só o texto, mas a confiança na instituição que pretende regular a própria tecnologia.

O que isso significa

O escândalo fez a agenda de IA da África do Sul recuar: o rascunho precisará ser reescrito, submetido de novo a consulta e ter sua legitimidade comprovada outra vez. Para outros governos e empresas, a conclusão é simples: dá para usar IA na preparação de documentos, mas referências, citações e dados precisam ser conferidos manualmente antes da publicação, e não depois do escândalo.

O caso sul-africano mostra que o risco mais doloroso da IA generativa não é uma falha barulhenta, mas um erro apresentado com confiança e percebido tarde demais.