Meta schaltet Werbung für App zur Entkleidung weiblicher Politikerinnen

Meta hat auf Facebook und Instagram Anzeigen für eine App zugelassen, die mit KI pornografische Deepfakes aus Bildern realer Frauen erstellen sollte – darunter von Politikerinnen. Die Fälle werfen Fragen zur Wirksamkeit von Metas Werbekontrollen und zu Apples App-Store-Prüfung auf.

KI-App Kromix und problematische Werbekampagne

Die betroffene App heißt Kromix und beschreibt sich selbst als „KI-Bildstyler“. In Videowerbung, die WIRED vorliegt, wirbt eine Sprecherstimme mit „keinen Einschränkungen“, „allen echten Personen“ und bezeichnet Kromix als „die KI, die Männer tatsächlich benutzen“. In einem Spot ist eine Frau zu sehen, die einer bekannten US-Politikerin ähnelt, vor US-Flaggen und der Flagge des Präsidenten, mit der Bildunterschrift „Was wäre, wenn sie sich bewegte?“. Sie zwinkert, dann schneidet der Clip zu einer pornografischen Szene mit einem Gesicht, das dem ihren gleicht.

Kromix war bis zur Anfrage von WIRED im App Store von Apple verfügbar. Die App fordert zahlende Nutzer:innen ausdrücklich dazu auf, Fotos hochzuladen, um diese in Szenarien wie „Schlafzimmervergewaltigung“ und „Disney-Liebe“ zu verwenden. In der App finden sich zudem KI-generierte Pornovideos von Frauen in Spider-Man-Kostümen. Eine Anfrage an die in der App hinterlegte Kontaktadresse blieb unbeantwortet.

Metas Werbebibliothek zeigt, dass die Anzeigen ausschließlich an männliche Nutzer mit dem Slogan „Entfessle Magie der nächsten Generation KI“ gerichtet waren. Laut Meta liefen insgesamt 32 Anzeigenkampagnen zwischen fünf und 46 Stunden; die meisten erzielten zehn oder weniger Ausspielungen. Die Werbung wurde entfernt, nachdem WIRED bei Meta nachgefragt hatte.

Schwache Filter bei Meta und Apple

Apple hat bereits länger Schwierigkeiten, ähnliche Apps aus dem App Store fernzuhalten, obwohl seine Richtlinien gegen nicht-einvernehmliche intime Bilder, „Entkleidungs“-Funktionen und explizite Inhalte verstoßen. Der Stadtanwalt von San Francisco forderte Apple in einem Unterlassungsschreiben im Sommer auf, 13 konkrete Apps zu entfernen und die Unterstützung beim Verkauf expliziter Deepfake-Bilder zu beenden.

Katie Paul, Leiterin des Tech Transparency Project, das die Anzeigen entdeckte, erklärt, bislang ginge es bei allen beobachteten „Entkleidungs“-Anzeigen um die Sexualisierung und das Nacktmachen von Frauen in KI-Pornografie. Sie stellt die Frage, wie Meta mit solchen Inhalten umgehen will, insbesondere wenn weibliche Politikerinnen betroffen sind und das Unternehmen selbst entsprechende Anzeigen verbreitet.

Politiker:innen, vor allem Frauen, werden seit Jahren mit nicht-einvernehmlichen Deepfake-Bildern und -Videos angegriffen. Im Januar wurden etwa Amtsträger:innen in Schweden, England und Nordirland mit sexualisierten KI-Bildern attackiert, häufig auf Basis offizieller Porträts. Forschende wie Benjamin Shultz vom American Sunlight Project sehen in frei zugänglichen KI-Tools die Ursache dafür, dass harmlose Medien zu Ausgangsmaterial für Übergriffe geworden sind.

Automatisierte Prüfung stößt an Grenzen

Laut öffentlicher Dokumentation prüft Meta jede Anzeige vor der Veröffentlichung auf Facebook und Instagram anhand seiner Werberichtlinien. Das Unternehmen setzt dabei vor allem auf automatisierte Systeme. Die Seite, über die die Kromix-Werbung lief, wurde erst am 3. August erstellt, hatte keine Follower und damit Merkmale, die auf ein verdächtiges Konto hätten hinweisen können.

Metas Richtlinien verbieten Werbung mit sexuellen Darstellungen, darunter Nacktheit, sexuelle Handlungen oder stark anzügliche Inhalte. In weiter gefassten Regeln zu sexueller Ausbeutung Erwachsener sind nicht-einvernehmliche intime Bilder sowie Werbung für „Entkleidungs“- oder „KI-Kuss“-Apps untersagt. Dennoch tauchen solche Anzeigen regelmäßig auf den Plattformen auf. Forschende haben Tausende nicht erkannte Fälle dokumentiert. Meta selbst gibt an, zwischen November letzten Jahres und Januar 344.000 entsprechende Werbeanzeigen entfernt und eine Klage gegen mindestens einen Anbieter eingereicht zu haben.

Cindy Southworth, zuständig für Frauensicherheit bei Meta, bezeichnet sexuelle Ausbeutung, einschließlich der Werbung für „Entkleidungs“-Apps, als verwerflich und betont, man arbeite aggressiv dagegen. Sie verweist auf über 340.000 entfernte Anzeigen im genannten Zeitraum, neue KI-Technik zur Erkennung von Verstößen und rechtliche Schritte gegen Entwickler:innen solcher Apps. Meta teile zudem Informationen über entfernte Apps und Entwickler:innen mit anderen Technikunternehmen.

Viele der Kromix-Videowerbungen nutzten harmlose Titelbilder wie Strand-, Berg- oder Wasserfallmotive, um den pornografischen Inhalt zu verschleiern. Southworth spricht von einer bekannten Taktik, um Erkennungssysteme zu umgehen; viele Anzeigen würden trotz Tarnbildern blockiert. Gleichzeitig räumt sie ein, dass kein System perfekt sei, und kündigt Untersuchungen an, warum die Kromix-Anzeigen durchgerutscht sind.

Apple teilte WIRED mit, Kromix aus dem App Store entfernt zu haben. Die App habe nach der ursprünglichen Prüfung verbotene Inhalte und Funktionen ergänzt. Apps zur Erstellung, Verbreitung oder Nutzung von Pornografie seien strikt untersagt, „Entkleidungs“-Apps verstießen generell gegen die App-Review-Richtlinien. Man arbeite konsequent daran, entsprechende Apps und die dahinterstehenden Entwickler:innenkonten aufzuspüren und zu löschen.

Zuletzt hatte WIRED zudem berichtet, dass das Tech Transparency Project mehr als 50 Anzeigen auf Metas Plattformen gefunden hat, die KI-generiertes kindliches Missbrauchsmaterial und Bilder Minderjähriger mit sexuellen Anspielungen enthielten. Teilweise wurden Gesichter von Kindern in Pornovideos montiert. Die Anzeigen liefen zwischen November 2025 und August und erreichten teils Tausende Menschen in den USA, Großbritannien und mehreren europäischen Ländern.

Meta entfernte die Anzeigen nach einer Anfrage von WIRED aus der Werbebibliothek und kennzeichnete sie als Verstöße gegen die Richtlinien zu sexualisierter Gewalt gegen Kinder sowie zu sexueller Ansprache und Nacktheit von Erwachsenen. Einige Anzeigen waren erst nach Einführung neuer KI-Filtertechnologie online gegangen. Mehrere Spots verwiesen auf eine weitere App namens MaskAI im App Store, die ebenfalls Gesichts­tausche in sexuelle Szenen erlaubte. Auch diese App wurde von Apple entfernt; eine Kontaktadresse reagierte nicht auf Anfragen.

Paul kritisiert, Meta verlasse sich immer stärker auf KI bei der Anzeigenprüfung, während menschliche Moderator:innen abgebaut würden. Werbung sei das Hauptprodukt des Konzerns, es gebe aber praktisch keine Qualitätskontrolle. Gleichzeitig verweise Meta öffentlich auf die Leistungsfähigkeit seiner KI, weise aber auch darauf hin, dass keine automatisierte Prüfung fehlerfrei sei.

Via: https://www.wired.com

Den Beitrag in unserem Forum kommentieren