Missbrauchspotential: Zwei Bilder ein Hashwert

Eine Diskussion auf Github experimentiert mit dem Hashwert von Bildern. Es geht um Apples Neural Hash im Zusammenhang mit der Missbrauchserkennung von Bildern. Wir haben hier und hier schon darüber berichtet.

Die beiden Bilder oben haben denselben Hashwert auf einem zum Test genutzten iPhone. Daher stellt sich die Frage: Können durch die CSAM-Hashes Bilder als kinderpornografisch markiert werden, die gar keine derartigen Inhalte zeigen?

Hier geht es um eine andere Frage. Kann ein Dritter durch manipulierte Bilder einem anderen Bilder beispielsweise senden, damit auf dessen iPhone die Missbrauchsprüfung “anschlägt”? Bisher ist dieses Szenario noch theoretisch und es ist auch zu diesem Zeitpunkt nicht geklärt, ob es tatsächlich so funktioniert, wie auf Github beschrieben.

Die Datenbank auf dem iPhone

Zukünftig werden die CSAM-Hashes in einer von Apple bearbeiten Version lokal auf den Nutzergeräten gespeichert. Wer nun diese Datenbank ausliest und Bilder exakt mit diesen Hashes erstellt, könnte Bilder generieren, die den Prüfalgorithmus anschlagen lassen.

Nachdem es bereits legales, pornografisches Material gibt, das ausschließlich KI-generiert ist, erscheint es denkbar, dass dies auch mit KI-Kindern erstellt wird. Hätten diese Bilder dann die Hashwerte bekannten kinderpornografischen Materials, wäre es ein leichtes, dies zu missbrauchen. Denkbar sind hier von Erpressung bis Bloßstellung diverse unschöne und strafrechtlich relevante Szenarien.

Im Raum bleibt die Frage: Wie will Apple sicherstellen, dass genau solche Missbräuche verhindert werden?

Via Github