Sudáfrica retira borrador de política de IA tras encontrar referencias científicas fabricadas

Sudáfrica retiró su proyecto de política nacional de IA después de descubrir referencias científicas falsificadas en el documento. La ironía es que el documento sobre regulación de IA probablemente fue parcialmente preparado usando IA generativa — y el resultado no fue verificado antes de la publicación.

Qué sucedió

El ministro de Comunicaciones y Tecnologías Digitales de Sudáfrica, Solly Malatsi, retiró el proyecto de política el 27 de abril tras una revisión interna. El detonante fue una investigación de News24: periodistas descubrieron que al menos seis de las 67 referencias académicas en el documento de 86 páginas apuntaban a trabajos que no existen. Los nombres de los periódicos eran reales, pero los artículos en sí no lo eran. El proyecto había pasado previamente por el gabinete el 25 de marzo y fue publicado el 10 de abril en la gaceta oficial del gobierno para su discusión pública. Los comentarios debían aceptarse hasta el 10 de junio.

Según Malatsi, la explicación más probable es que referencias generadas por IA llegaron al texto sin verificación adecuada. El ministro prometió acciones contra los responsables de la preparación y el control de calidad, porque el error afectó no a un borrador, sino a un documento oficial del gobierno.

Qué contenía el proyecto

El documento fue concebido como un marco para la estrategia estatal de IA. Se basaba en un enfoque orientado al riesgo, parcialmente inspirado en la Ley de IA europea, y proponía desplegar la regulación en etapas: desde reglas y recomendaciones básicas hasta estrategias sectoriales e instituciones separadas. El texto también discutía subvenciones, subsidios e incentivos fiscales para el sector privado.

El proyecto presentaba varias estructuras y mecanismos nuevos:

• Comisión Nacional de IA
• consejo de ética de IA y regulador separado
• defensor del pueblo de IA
• Instituto Nacional de Seguridad de IA
• superfondo de seguros para casos de responsabilidad disputados

Además, el proyecto oficial esbozaba seis direcciones estratégicas: desarrollo de fuerza laboral, IA para crecimiento inclusivo y empleo, gobernanza responsable, IA ética e inclusiva, preservación cultural e integración internacional, e implementación de IA con prioridad en los intereses humanos.

Para el contexto africano, este era un marco ambicioso: el estado claramente quería simultáneamente estimular el mercado y crear su propio modelo de supervisión, en lugar de simplemente copiar las reglas europeas.

Dónde falló el proceso

El problema resultó ser no solo las referencias falsas en sí, sino también que el documento pasó por varios niveles de aprobación. Los editores del South African Journal of Philosophy, AI & Society y Journal of Ethics and Social Philosophy confirmaron que los artículos citados nunca fueron publicados en sus revistas. En otras palabras, no fue un único error descuidado, sino fuentes plausibles pero falsificadas que parecían lo suficientemente convincentes para pasar la revisión del gabinete.

"Este es un fallo inaceptable que muestra por qué se necesita una

supervisión humana estricta al usar IA."

Esta historia ilustra la debilidad típica de los modelos generativos. Destacan en reunir texto coherente y confiado y formatear referencias como si estuvieras mirando una bibliografía académica normal. Pero el modelo no está obligado a verificar si el artículo realmente existe. Si un equipo usa IA como borrador y luego no valida manualmente cada referencia, el error fácilmente llega al documento final. En el caso de un documento gubernamental, el costo de tal descuido es más alto de lo habitual: no solo el texto está en juego, sino también la confianza en la institución que está a punto de regular la tecnología misma.

Qué significa esto

El escándalo ha retrasado la agenda de IA de Sudáfrica: el proyecto tendrá que ser reescrito, resubmetido para consulta y re-legitimado. Para otros estados y empresas, la conclusión es simple: la IA puede usarse en la preparación de documentos, pero las referencias, citas y hechos deben verificarse manualmente antes de la publicación, no después de un escándalo.

La historia de Sudáfrica muestra que el riesgo más doloroso de la IA generativa no es un fallo ruidoso, sino un error formateado con confianza descubierto demasiado tarde.