Südafrika zieht KI-Strategie zurück: KI erfand Teile der Quellenangaben

Südafrika hat seinen Entwurf für eine nationale KI-Strategie zurückgezogen, nachdem sich mehrere Quellenangaben als durch eine KI erfundene Zitate herausgestellt hatten. Der Vorfall wirft grundsätzliche Fragen zur Fähigkeit des Staates auf, Künstliche Intelligenz zu regulieren.

Gefälschte Quellen in nationaler KI-Strategie

Das südafrikanische Ministerium für Kommunikation und digitale Technologien hatte monatelang an einer nationalen Strategie für Künstliche Intelligenz gearbeitet. Der Entwurf sah unter anderem eine Nationale KI-Kommission, einen KI-Ethikrat, eine KI-Aufsichtsbehörde, eine oder einen KI-Ombudsperson, ein Nationales KI-Sicherheitsinstitut sowie einen KI-Versicherungs-Superfonds vor.

Inhaltlich war die Strategie entlang von fünf Säulen aufgebaut: Aufbau von Kompetenzen, verantwortungsvolle Steuerung, ethische und inklusive KI, kulturelle Bewahrung und menschengerechter Einsatz. Als Modell diente ein risikobasierter Ansatz nach dem Vorbild des EU-KI-Gesetzes. Das Kabinett billigte den Entwurf am 25. März, am 10. April wurde er im Regierungsanzeiger zur öffentlichen Kommentierung veröffentlicht.

Dann prüfte die Nachrichtenplattform News24 das Literaturverzeichnis und stellte fest, dass mindestens sechs der 67 wissenschaftlichen Quellenangaben nicht existierten. Die Fachzeitschriften, in denen die Aufsätze erschienen sein sollten, sind echt, die zitierten Artikel jedoch nicht. Autor:innen, die als Verfasser:innen grundlegender Arbeiten zur KI-Governance genannt wurden, hatten diese Texte nie geschrieben. Herausgeber:innen des South African Journal of Philosophy, von AI & Society und des Journal of Ethics and Social Philosophy bestätigten unabhängig, dass die angegebenen Artikel nie in ihren Zeitschriften veröffentlicht worden waren.

Kommunikationsminister Solly Malatsi erklärte, die plausibelste Erklärung sei der Einsatz eines generativen KI-Werkzeugs, dessen Literaturangaben ungeprüft übernommen wurden. Ausgerechnet eine Regierungsstrategie, die Künstliche Intelligenz regulieren sollte, wurde von der KI untergraben, die sie regulieren wollte.

Rückzug des Entwurfs und internationale Einordnung

Malatsi verkündete den Rückzug des Papiers am 27. April und bezeichnete die fiktiven Quellenangaben als „inakzeptables Versäumnis“, das die „Integrität und Glaubwürdigkeit des Entwurfs“ beschädigt habe. Er kündigte Konsequenzen für die Verantwortlichen in Erstellung und Qualitätssicherung an und betonte, dass es sich nicht um ein rein technisches Problem handle. Der Vorsitz der zuständigen Parlamentskommission kommentierte kürzer und empfahl dem Ministerium, beim Neuentwurf „diesmal auf die Nutzung von ChatGPT zu verzichten“.

Das Dokument soll überarbeitet und erneut zur öffentlichen Kommentierung vorgelegt werden, ein Zeitplan ist nicht bekannt. Damit verfügt Südafrika aktuell über keinen formellen Rahmen für KI-Governance, während weltweit intensiv über Regulierung von KI gestritten wird. Die Glaubwürdigkeit des Landes als ernstzunehmender Akteur in diesen Debatten ist beschädigt.

Der Vorfall wiegt auch deshalb schwer, weil er im Fachressort für digitale Technologien passiert ist und genau zu einer Zeit, in der zentrale Weichenstellungen in Brüssel, Washington und Peking erfolgen. Das EU-KI-Gesetz, der bislang ambitionierteste Regulierungsrahmen für Künstliche Intelligenz, kämpft mit verzögerten Standards und einem bis 2027 verschobenen Umsetzungszeitplan für Hochrisikosysteme. Die USA verfügen über kein bundesweites KI-Gesetz, während einzelne Bundesstaaten eigene Regelungen schaffen und das Weiße Haus versucht gegenzusteuern. China hat Regelungen für KI erlassen, setzt sie aber selektiv um. In dieses Umfeld stellte Südafrika eine Strategie, die bereits an einer einfachen Literaturprüfung scheiterte.

Strukturelles Problem mit KI-Zitaten und Folgen für Südafrika

Der Fall in Südafrika steht exemplarisch für ein breiteres Problem bei der Nutzung generativer KI in Recherche und Texterstellung. Eine in „Nature“ veröffentlichte Studie ergab, dass 2,6 Prozent der 2025 publizierten wissenschaftlichen Arbeiten mindestens eine potenziell halluzinierte Quellenangabe enthielten, nach 0,3 Prozent im Jahr 2024. Hochgerechnet auf rund sieben Millionen Veröffentlichungen aus dem Jahr 2025 wären damit über 110.000 Fachartikel von fehlerhaften Referenzen betroffen.

Das kanadische Unternehmen GPTZero untersuchte mehr als 4.000 angenommene Beiträge der KI-Konferenz NeurIPS 2025 und fand über 100 halluzinierte Zitate in mindestens 53 Arbeiten. In einer separaten multimodalen Studie waren nur 26,5 Prozent KI-generierter Literaturangaben vollständig korrekt. Ursache ist die Funktionsweise großer Sprachmodelle: Sie sagen Tokens probabilistisch voraus, statt Informationen gezielt abzurufen. Sie „schlagen“ Zitate vor, die plausibel wirken, aber ins Leere führen.

Im südafrikanischen Ministerium durchlief der Entwurf einen etablierten Prozess mit Beamt:innen, inhaltlichen Konsultationen und ministerieller Prüfung. KI-Policy-Leiter Dumisani Sondlo hatte die Strategie zuvor als „Akt der Anerkennung, dass wir nicht genug wissen“ beschrieben. Diese Einsicht umfasste jedoch nicht die Unzuverlässigkeit des eingesetzten KI-Werkzeugs. News24 deckte sechs falsche Quellenangaben auf, doch ob die übrigen Zitate echt sind, ist öffentlich nicht bestätigt. Damit steht das gesamte Literaturverzeichnis und damit die analytische Grundlage der Strategie infrage.

Für Südafrika bedeutet das konkret: Der Zeitplan für eine nationale KI-Governance beginnt wieder von vorn. Der Entwurf, der das Land als Vorreiter für verantwortungsvolle KI-Nutzung auf dem afrikanischen Kontinent positionieren sollte, muss neu geschrieben, erneut abgestimmt und wieder eingebracht werden. Der Vertrauensschaden reicht über das einzelne Dokument hinaus. Wenn das zuständige Ressort nicht verlässlich prüfen kann, ob die eigenen Quellen real sind, stellt sich die Frage, ob es KI-Systeme fachlich bewerten kann, die es regulieren möchte.

Die geplante Multi-Regulatoren-Struktur sah vor, dass Aufsicht über KI in bestehende Kontrollrahmen integriert wird, statt bei einer zentralen Behörde zu liegen. Dafür benötigen alle beteiligten Aufseher:innen ausreichendes technisches Verständnis für KI in ihrem Bereich. Der aktuelle Skandal nährt Zweifel, ob das koordinierende Ministerium diese Schwelle erfüllt. Gleichzeitig zeigt der Fall, dass KI-Ausfälle selten spektakulär sind: Die Systeme liefern sprachlich flüssige, formal korrekte Texte, die aussehen wie das Ergebnis gründlicher Recherche. Die fehlerhaften Quellen wirkten plausibel und orientierten sich an realen Zeitschriften und Personen. Erkennbar wurden sie erst durch aufwendige manuelle Überprüfung – genau jene sorgfältige Kontrolle, die sich viele erhoffen, an KI delegieren zu können.

Die wachsende Skepsis gegenüber KI speist sich damit auch aus Erfahrungen wie in Südafrika: Die Technologie ist mächtig genug, um eine nationale Strategie zu verfassen, aber nicht zuverlässig genug, um deren Belege zu liefern. Der grundlegende Fehler – Einsatz von KI ohne die Kapazität, ihre Ergebnisse zu prüfen – zeigt sich nicht nur in Regierungshäusern, sondern auch an Hochschulen, in Kanzleien, Redaktionen und Behörden weltweit. Eine wirksame Regulierung von KI setzt voraus, dass Institutionen verstehen, wie diese Systeme arbeiten, bevor sie Regeln dafür schreiben.

Via: https://thenextweb.com
Titelbild KI (Zur Illustration)

Den Beitrag in unserem Forum kommentieren