Elon Musk bestreitet, von Nacktbildern Minderjähriger zu wissen, die der Chatbot Grok erzeugt haben soll. Gleichzeitig leitet die Generalstaatsanwaltschaft von Kalifornien ein formelles Verfahren gegen xAI ein.
Kalifornien prüft mögliche Gesetzesverstöße durch xAI
Musk erklärte am Mittwoch, er sei „nicht über irgendwelche nackten Bilder Minderjähriger informiert, die von Grok erzeugt wurden“. Wenige Stunden später kündigte Kaliforniens Generalstaatsanwalt Rob Bonta eine Untersuchung wegen der „Verbreitung nicht einvernehmlicher, sexuell expliziter Inhalte“ an. Hintergrund sind Berichte, dass Benutzer:innen auf X Grok aufforderten, Fotos realer Frauen und teilweise von Kindern ohne deren Zustimmung in sexualisierte Bilder zu verwandeln. Die Plattformen X und xAI gehören demselben Unternehmen.
Das Unternehmen Copyleaks, das sich auf KI-Erkennung und Inhaltskontrolle spezialisiert hat, schätzt, dass etwa jede Minute ein entsprechendes Bild auf X veröffentlicht wurde. In einer separaten Stichprobe vom 5. bis 6. Januar seien innerhalb von 24 Stunden 6.700 Bilder pro Stunde aufgetaucht. Bonta betonte, dieses Material werde genutzt, um Menschen im gesamten Internet zu belästigen, und forderte xAI auf, umgehend zu handeln, damit sich das Problem nicht weiter ausweitet. Die Behörde will prüfen, ob und in welcher Form xAI gegen geltendes Recht verstoßen hat.
In den USA schützt der im vergangenen Jahr verabschiedete Take-It-Down-Act Betroffene nicht einvernehmlicher sexueller Bilder. Das Gesetz stellt das wissentliches Verbreiten intimer Bilder, einschließlich Deepfakes, unter Strafe und verpflichtet Plattformen wie X, solche Inhalte innerhalb von 48 Stunden zu entfernen. Zusätzlich gelten in Kalifornien eigene Regelungen, die Gouverneur Gavin Newsom 2024 zur Bekämpfung sexuell expliziter Deepfakes unterzeichnet hat.
Wie Grok zu sexualisierten Bildern genutzt wurde
Grok begann gegen Jahresende damit, Nutzeranfragen nach sexualisierten Fotos von Frauen und Kindern auf X zu erfüllen. Auslöser war offenbar, dass einige Erotik-Content-Creator Grok dazu nutzten, sexualisierte Bilder von sich selbst zu generieren und als Marketinginstrument zu verwenden. Andere Nutzer:innen griffen dieses Vorgehen auf und stellten ähnliche Anfragen. In mehreren öffentlich bekannt gewordenen Fällen, darunter bei „Stranger Things“-Schauspielerin Millie Bobby Brown, reagierte Grok auf Aufforderungen, reale Fotos realer Frauen zu verändern. Dabei wurden Kleidung, Körperhaltung oder körperliche Merkmale deutlich sexualisiert angepasst.
Laut Berichten hat xAI inzwischen erste Schutzmaßnahmen eingeführt. Grok verlangt nun ein Premium-Abonnement, bevor bestimmte Bildanfragen beantwortet werden, und selbst dann wird das Bild teilweise nicht erzeugt. April Kozen, Marketingchefin bei Copyleaks, sagte, Grok erfülle manche Anfragen nur noch allgemeiner oder abgeschwächt. Außerdem scheine Grok gegenüber erwachsenen Content-Creator eher großzügig zu sein. Insgesamt deute das darauf hin, dass X mit verschiedenen Mechanismen experimentiere, um problematische Bildgenerierung zu begrenzen oder zu kontrollieren, auch wenn es weiterhin Widersprüche gebe.
Musk fokussiert auf Rechtslage – globale Aufsicht wächst
Weder xAI noch Musk haben das Problem bislang direkt und ausführlich öffentlich kommentiert. Einige Tage nach den ersten Vorfällen schien Musk das Thema zu verharmlosen, indem er Grok bat, ein Bild von ihm im Bikini zu erstellen. Am 3. Januar erklärte das Sicherheitskonto von X, man gehe gegen illegale Inhalte auf X vor, einschließlich Material zum sexuellen Missbrauch von Kindern, ohne Groks fehlende Schutzmechanismen oder die sexualisierten Bildmanipulationen von Frauen konkret anzusprechen.
Musk betonte nun, ihm seien „buchstäblich null“ nackte Bilder Minderjähriger bekannt, die durch Grok erzeugt wurden. Damit schließt er andere sexualisierte Darstellungen, etwa in Bademode oder veränderte Fotos, nicht ausdrücklich aus. Der Jurist Michael Goodyear von der New York Law School erklärte, Musk konzentriere sich vermutlich bewusst auf Material zum sexuellen Missbrauch von Kindern, da hier die Strafen für die Erstellung oder Verbreitung synthetischer Inhalte höher seien. In den USA drohten unter dem Take-It-Down-Act bis zu drei Jahre Haft für die Verbreitung oder angedrohte Verbreitung solchen Materials, im Vergleich zu bis zu zwei Jahren bei nicht einvernehmlicher sexueller Erwachsenendarstellung.
Musk verweist zudem auf das Verhalten der Nutzer:innen. Grok generiere Bilder nur auf Anfrage und verweigere illegale Inhalte, da sich das System an die Gesetze der jeweiligen Länder oder Bundesstaaten halte. Unerwartete Ergebnisse führt er auf „adversarielle“ Manipulation von Eingaben zurück, die man dann als Fehler behebe. Damit stellt Musk die Vorfälle als seltene, nutzergetriebene Ausnahmen dar und als technische Probleme, die sich per Bugfix lösen lassen. Ein mögliches strukturelles Sicherheitsdefizit von Grok räumt er nicht ein. Goodyear hält es für denkbar, dass Aufsichtsbehörden künftig, mit Blick auf den Schutz der Meinungsfreiheit, proaktive Maßnahmen von KI-Entwicklern verlangen, um solche Inhalte zu verhindern.
Kalifornien ist zudem nicht die einzige Instanz, die xAI zur Verantwortung ziehen will. Indonesien und Malaysia haben den Zugang zu Grok vorübergehend gesperrt, Indien fordert sofortige technische und organisatorische Anpassungen, die EU-Kommission hat xAI zur Sicherung aller Unterlagen zu Grok verpflichtet, und die britische Regulierungsbehörde Ofcom ermittelt auf Basis des Online-Sicherheitsgesetzes.
xAI stand wegen sexualisierter Inhalte von Grok bereits früher in der Kritik. Bonta verweist darauf, dass Grok einen „scharfen Modus“ anbietet, um explizite Inhalte zu erzeugen. Ein Update im Oktober erleichterte es, die ohnehin schwachen Sicherheitsrichtlinien zu umgehen, was zahlreiche Nutzer:innen nutzten, um Hardcore-Pornografie sowie grafische und gewalttätige sexuelle Bilder zu erstellen. Viele der pornografischen Darstellungen betrafen komplett KI-generierte Personen. Auch das ist ethisch umstritten, schadet aber den abgebildeten Individuen weniger direkt. Problematisch wird es, wenn echte Menschen ohne klare Einwilligung manipuliert werden.
Copyleaks-Mitgründer und CEO Alon Yamin sieht einen starken Anstieg der Fähigkeiten verschiedener KI-Systeme für manipulierte Medien, von Sora bis Grok. Er fordert bessere Erkennung und Governance, um Missbrauch zu verhindern und die Auswirkungen für Betroffene zu begrenzen.
