Warum bleiben Grok und X trotz Vorwürfen in den App-Stores?

Auf X kursieren derzeit Tausende sexualisierte Bilder, die mit Elon Musks KI-Chatbot Grok erzeugt wurden – offenbar auch von mutmaßlich Minderjährigen. Das wirft heikle Fragen zur Rolle von Apple und Google auf, deren App-Stores klare Regeln gegen solche Inhalte vorgeben.

App-Store-Regeln vs. Inhalte auf X und Grok

Grok wird genutzt, um X mit sexualisierten Bildern von Erwachsenen und augenscheinlichen Minderjährigen in knapper Kleidung zu fluten. Ein Teil dieser Inhalte scheint nicht nur gegen die eigenen Richtlinien von X zu verstoßen, die das Teilen illegaler Inhalte wie kinderpornografisches Material (CSAM) verbieten, sondern möglicherweise auch gegen die Vorgaben des App Store von Apple und des Google Play Store.

Apple und Google untersagen in ihren Richtlinien Apps mit CSAM, das in vielen Ländern illegal zu hosten und zu verbreiten ist. Beide Konzerne verbieten zudem Apps mit pornografischem Material oder Angeboten, die Belästigung fördern. Im App Store heißt es, Apps mit „offen sexuell oder pornografischem Material“ seien nicht erlaubt, ebenso wenig „verleumderische, diskriminierende oder böswillige Inhalte“, insbesondere wenn eine App „voraussichtlich eine Person oder Gruppe demütigt, einschüchtert oder schädigt“. Der Google Play Store untersagt Apps, die „Inhalte mit sexuell räuberischem Verhalten enthalten oder fördern, oder nicht einvernehmliche sexuelle Inhalte verbreiten“, sowie Programme, die „Drohungen, Belästigung oder Mobbing enthalten oder erleichtern“.

In den vergangenen zwei Jahren entfernten Apple und Google bereits mehrere „Nackt-machen“- und KI-Bildgenerator-Apps, nachdem Recherchen der BBC und von 404 Media ergaben, dass sie beworben oder genutzt wurden, um alltägliche Fotos von Frauen ohne deren Einwilligung in explizite Bilder zu verwandeln.

Zum Zeitpunkt der Veröffentlichung sind die X-App und die eigenständige Grok-App jedoch weiterhin in beiden App-Stores gelistet. Apple, Google und X beantworteten entsprechende Anfragen nicht. Grok wird von Musks milliardenschwerem KI-Start-up xAI betrieben, das sich ebenfalls nicht gegenüber WIRED äußerte. In einer öffentlichen Stellungnahme vom 3. Januar erklärte X, man gehe gegen illegale Inhalte auf der Plattform vor, einschließlich CSAM. „Jede Person, die Grok zur Erstellung illegaler Inhalte nutzt oder anleitet, wird dieselben Konsequenzen tragen, als hätte sie illegale Inhalte hochgeladen“, warnte das Unternehmen.

Explosion nicht einvernehmlicher Bilder und politische Reaktionen

Sloan Thompson, Leiter:in für Schulung und Aufklärung bei EndTAB, einer Organisation zur Verhinderung der Verbreitung nicht einvernehmlicher sexueller Inhalte, hält es für „absolut angemessen“, wenn Firmen wie Apple und Google gegen X und Grok vorgehen.

Die Menge nicht einvernehmlicher expliziter Bilder auf X, die Grok erzeugt, ist in den vergangenen zwei Wochen stark angestiegen. Eine Forscher:in sagte gegenüber Bloomberg, Grok habe innerhalb von 24 Stunden zwischen dem 5. und 6. Januar stündlich rund 6.700 Bilder erstellt, die als „sexuell anzüglich oder Nackt-machend“ eingestuft wurden. Eine weitere Analyst:in sammelte in einem Zeitraum von zwei Stunden am 31. Dezember über 15.000 URLs zu von Grok erzeugten Bildern auf X. WIRED sichtete etwa ein Drittel dieser Inhalte und stellte fest, dass viele Frauen in freizügiger Kleidung zeigten. Über 2.500 Bilder waren innerhalb einer Woche als nicht mehr verfügbar markiert, knapp 500 wurden als „altersbeschränkte Inhalte für Erwachsene“ gekennzeichnet.

Eine Sprecher:in der Europäischen Kommission verurteilte diese sexualisierten und nicht einvernehmlichen Bilder von Grok auf X gegenüber Reuters öffentlich als „illegal“ und „entsetzlich“ und erklärte, solche Inhalte hätten „in Europa keinen Platz“.

Die EU verpflichtete X am Donnerstag dazu, alle internen Dokumente und Daten zu Grok bis Ende 2026 aufzubewahren und verlängerte damit eine bestehende Anordnung. So sollen Behörden Zugriff auf Informationen zur Einhaltung des Gesetzes über digitale Dienste der EU erhalten, auch wenn eine neue formale Untersuchung noch aussteht. Regulierungsbehörden in anderen Ländern, darunter Großbritannien, Indien und Malaysia, haben ebenfalls Untersuchungen gegen die Social-Media-Plattform angekündigt.

„Nackt-machen“-Industrie, Gesetzeslücken und Verantwortung der Plattformen

Grok und X sind Teil einer millionenschweren Online-Industrie für „Nackt-machen“-Dienste. In den vergangenen Jahren entstanden Dutzende Apps und Websites, die versprechen, Frauen ohne deren Einwilligung digital zu entkleiden – häufig als harmlose Spielerei vermarktet, tatsächlich aber ein Werkzeug für sexualisierte Gewalt mit Bildern. Auch etablierte KI-Anbieter:innen kämpfen damit, ihre Werkzeuge vor Missbrauch zur Erstellung nicht einvernehmlicher sexualisierter Bilder zu schützen. WIRED berichtete im vergangenen Monat, dass Nutzer:innen online Anleitungen austauschten, wie sich die KI-Chatbots von Google und OpenAI, Gemini und ChatGPT, dazu bringen lassen, Fotos von Frauen so zu verändern, dass sie Bikinis oder andere freizügige Kleidung tragen.

Gesetzgeber:innen in den USA und anderen Ländern gehen inzwischen verstärkt gegen nicht einvernehmliche KI-Deepfakes vor. Im vergangenen Jahr unterzeichnete Präsident Donald Trump den TAKE IT DOWN Act, der das vorsätzliche Veröffentlichen oder Hosten nicht einvernehmlicher sexueller Bilder zur Bundesstraftat macht. Thompson betont jedoch, dass dieses Gesetz dadurch begrenzt sei, dass Unternehmen erst dann tätig werden müssen, wenn sich eine betroffene Person aktiv meldet.

„Private Unternehmen haben deutlich mehr Handlungsspielraum, schnell zu reagieren“, sagt Thompson. Andere Mittel gegen bildbasierte Gewalt wie Klagen oder neue Gesetze bräuchten Zeit, während neue Technologien „in atemberaubendem Tempo“ auf den Markt kämen und rechtliche Regelungen kaum Schritt hielten.

David Greene, Leiter für Bürgerrechte bei der Electronic Frontier Foundation, warnt davor, ganze Plattformen vorschnell aus App-Stores zu entfernen. Er hebt hervor, dass X und xAI selbst über die nötigen Möglichkeiten verfügen, das Problem zu bekämpfen.

Greene argumentiert, Musks Unternehmen könnten bessere technische Schutzmechanismen einführen, um Nutzer:innen von der Erstellung von Deepfakes und anderer sexualisierter Inhalte abzuhalten. Diese Lösungen seien zwar wahrscheinlich nicht perfekt, könnten aber „zumindest etwas Reibung in den Prozess bringen“.

Thompson stimmt zu, dass Unternehmen wie X und xAI stärker unter öffentlichen Druck geraten sollten, damit solche Fotos und Videos gar nicht erst entstehen. „Genau da brauchen wir aus meiner Sicht Eingreifen“, sagt sie.

Via: https://www.wired.com
Titelbild: Screenshot

Den Beitrag in unserem Forum kommentieren