Wie eine „Nudify“-Seite den Kampf gegen KI-generierte Pornografie auslöste

Immer mehr Nutzer:innen begegnen Risiken durch KI-generierte Deepfakes im Internet. Die Geschichte einer Gruppe von Frauen aus Minneapolis zeigt, wie einfach und folgenreich diese Technologie geworden ist.

Der Auslöser: Deepfake-Pornografie auf Social Media

Im Juni 2024 erhielt Jessica Guistolise eine beunruhigende Nachricht: Über 80 Frauen aus ihrem Bekanntenkreis waren Opfer von KI-generierter Deepfake-Pornografie geworden. Fotos aus ihren Social-Media Profilen verwandelten mithilfe der „Nudify“-Plattform DeepSwap in explizite Bilder. Ohne ihr Wissen landeten private Aufnahmen aus Urlaubs- und Familienfotos in der Datenbank dieser KI-Software, die Ben, der Mann einer Bekannten, erstellt hatte. Die entsetzten Frauen erkannten, dass jeder ohne technische Kenntnisse mit einfachen Mitteln solche KI-generierten Bilder produzieren kann. DeepSwap ist eine von vielen Seiten, die mit geringem Aufwand gegen eine monatliche Gebühr von 19,99 US-Dollar (ca. 19 Euro) realitätsnahe Deepfakes anbieten.

Die Betroffenen meldeten die Taten der Polizei und erwirken zum Teil einstweilige Verfügungen. Allerdings stellte sich heraus, dass Ben vermutlich keine Gesetze verletzte, da die Opfer volljährig waren und die Inhalte bislang nicht verbreitet wurden. Die Unsicherheit, ob die Bilder doch auf fremden Servern landen könnten, bleibt bestehen. Aus juristischer Sicht gibt es derzeit kaum ausreichenden Schutz für betroffene Personen, solange keine öffentliche Verbreitung der Deepfakes nachgewiesen werden kann.

Wachsende Verfügbarkeit und mangelnder Schutz

Experten weisen darauf hin, wie leicht zugänglich solche Anwendungen sind. Nudify-Apps bewerben ihre Dienste offen auf Social-Media Plattformen wie Facebook, dem App Store oder Google Play. Technologiekonzerne wie Meta und Apple betonen zwar, gegen entsprechende Werbung und Apps vorzugehen, doch viele Services bleiben laut Recherchen weiterhin verfügbar. Die Tools folgen dabei den Vorbildern moderner Konsumenten-Apps, inklusive Abo-Modellen und intuitiver Bedienung. Forschende vermelden, dass allein im Juli 2025 rund 18,6 Millionen monatlich aktive Nutzer:innen auf 85 untersuchten Diensten zusammenkamen. Internationale Fälle belegen, wie rasant sich das Problem ausbreitet: In Australien wurde 2024 ein Mann für neun Jahre Haft verurteilt, weil er Deepfake-Bilder von 26 Frauen anfertigte.

Die psychologischen Folgen für die Opfer sind erheblich: Stress, Paranoia, Schlafstörungen oder sogar Angstzustände sind nicht selten. Frauen wie Molly Kelley und Megan Hurley investierten viel Zeit, um weitere Betroffene zu benachrichtigen und setzten sich öffentlich für strengere Gesetze ein. Doch aktuell fehlt es oft an eindeutigen Rechtsgrundlagen gegen die Herstellung derartiger Inhalte. Die Nachfrage nach Beratungsdiensten und Support wächst, auch weil viele Betroffene bis heute nicht wissen, dass sie Opfer solcher Deepfake-Techniken sind.

Gesetze, Initiativen und anhaltende Lücken

Während auf US-Bundesebene der „Take It Down Act“ 2025 unterzeichnet wurde, der die Veröffentlichung nicht-einvernehmlicher Deepfakes mit Geldstrafen und bis zu zwei Jahren Haft ahndet, bleiben Lücken bestehen, sofern das Material nicht online verbreitet wurde. Initiativen in Bundesstaaten wie Minnesota möchten die Herstellung selbst betrafen und fordern Bußgelder für Tech-Unternehmen von bis zu 500.000 US-Dollar (ca. 470.000 Euro) je Deepfake. Die Umsetzung gestaltet sich jedoch schwierig, vor allem aufgrund internationaler Anbieter.

Auch große Internetplattformen stehen unter Druck. Meta entfernt nach eigenen Angaben mittlerweile tausende Werbeanzeigen und verschickt Unterlassungserklärungen an Betreiber entsprechender Dienste. Einige Anbieter stehen in Kalifornien vor Gerichtsverfahren und haben bereits Bußgelder gezahlt oder ihre Angebote eingestellt. Dennoch zeigen Recherchen, dass weiterhin zahlreiche Anzeigen und Angebote auf Social-Media-Plattformen kursieren.

Die betroffene Gruppe aus Minneapolis setzt sich trotz anhaltender Belastung weiter für strengere Gesetze und mehr Aufklärung ein. Ihr Ziel: Nutzer:innen auf die Gefahren von KI-generierten Deepfakes aufmerksam zu machen und rechtliche Schutzmechanismen zu verbessern.

Via: https://www.cnbc.com

Den Beitrag in unserem Forum kommentieren