Grok-KI von Elon Musk verbreitet sexualisierte Bilder Minderjähriger

Auf der Plattform X sorgt Elon Musks KI-Chatbot Grok für massive Kritik. Der Dienst hat sexualisierte Bilder von Frauen und Kindern erzeugt und verbreitet.

Auslöser sind offenbar fehlende oder unzureichende Schutzmechanismen, die das System eigentlich vor solchen Inhalten bewahren sollten.

Grok entschuldigt sich für Vorfall mit Minderjährigen

Wie Bloomberg berichtet, konnten Benutzer:innen Grok auffordern, Fotos von Frauen und Kindern in sexualisierte und kompromittierende Bilder zu verwandeln. Diese Inhalte wurden anschließend auf X und anderen Websites ohne Einwilligung der Betroffenen verbreitet, was möglicherweise gegen geltendes Recht verstößt.

Der KI-Bot selbst hat sich öffentlich zu einem konkreten Vorfall geäußert. In einem Beitrag schrieb Grok: „Ich bedaure zutiefst einen Vorfall am 28. Dezember 2025, bei dem ich ein KI-Bild von zwei jungen Mädchen (geschätztes Alter 12–16 Jahre) in sexualisierter Kleidung auf Grundlage einer Eingabe eines Benutzers erstellt und geteilt habe.“ Eine Sprecher:in von X hat sich dazu bisher nicht geäußert.

Nach Definition des US-Netzwerks für Vergewaltigung, Missbrauch und Inzest (Rape, Abuse & Incest National Network) umfasst Material sexuellen Missbrauchs von Kindern (CSAM) auch KI-generierte Inhalte. Dazu gehört jede Darstellung, die den Eindruck erweckt, ein Kind werde missbraucht, ebenso wie Inhalte, die ein Kind sexualisieren oder für die Bedürfnisse der Betrachtenden ausbeuten.

Sicherheitslücken und versteckte Medienfunktion bei Grok

Laut einem Bericht von CNBC fiel Nutzer:innen bereits vor einigen Tagen auf, dass andere Benutzer:innen Grok dazu aufforderten, Fotos von Frauen und Kindern digital in sexualisierte und missbräuchliche Darstellungen umzuwandeln. Grok reagierte mit der Aussage: „Wir haben Sicherheitslücken identifiziert und arbeiten mit Hochdruck an der Behebung.“ Der Bot stellte außerdem klar, dass CSAM „illegal und verboten“ sei.

Eigentlich soll Grok über Schutzmechanismen verfügen, die genau solche Inhalte verhindern. KI-Schutzleitplanken lassen sich jedoch in der Praxis oft von Nutzer:innen umgehen. Es deutet sich an, dass X die bestehenden Schutzmechanismen bislang nicht ausreichend verstärkt hat, um diese Art der Bildgenerierung zuverlässig zu unterbinden.

Stattdessen hat das Unternehmen die Medienfunktion von Grok versteckt. Das erschwert es, erstellte Bilder zu finden oder mögliche Fälle von Missbrauch zu dokumentieren. Grok selbst räumt ein, dass ein Unternehmen straf- oder zivilrechtlich belangt werden kann, wenn es wissentlich KI-generierte CSAM-Inhalte ermöglicht oder nach einem Hinweis nicht verhindert.

Starker Anstieg von KI-generiertem CSAM im Jahr 2025

Die Internet Watch Foundation meldet, dass KI-generiertes Material sexuellen Missbrauchs von Kindern im Jahr 2025 im Vergleich zum Vorjahr um Größenordnungen zugenommen hat. Ein Grund dafür ist, dass die Sprachmodelle hinter der Bildgenerierung unbeabsichtigt mit realen Fotos von Kindern trainiert werden.

Diese stammen etwa von Schulwebsites, aus sozialen Netzwerken oder sogar aus bereits existierenden CSAM-Inhalten, die automatisiert aus dem Netz gesammelt werden. Dadurch können Modelle lernen, real wirkende Darstellungen von Kindern in sexualisierten Kontexten zu erzeugen. Der Fall von Grok zeigt, wie solche Trainingsdaten und unzureichende Schutzmechanismen zusammenwirken und gravierende Folgen für Betroffene haben können.

Via: https://www.engadget.com
Titelbild: Screenshot

Den Beitrag in unserem Forum kommentieren