Missbrauchspotential: Zwei Bilder ein Hashwert

[Andreas Vogel]

Andreas Vogel
Eine Diskussion auf Github experimentiert mit dem Hashwert von Bildern. Es geht um Apples Neural Hash im Zusammenhang mit der Missbrauchserkennung von Bildern. Wir haben hier und hier schon darüber berichtet.



Die beiden Bilder oben haben denselben Hashwert auf einem zum Test genutzten iPhone. Daher stellt sich die Frage: Können durch die CSAM-Hashes Bilder als kinderpornografisch markiert werden, die gar keine derartigen Inhalte zeigen?

Hier geht es um eine andere Frage. Kann ein Dritter durch manipulierte Bilder einem anderen Bilder beispielsweise senden, damit auf dessen iPhone die Missbrauchsprüfung "anschlägt"? Bisher ist dieses Szenario noch theoretisch und es ist auch zu diesem Zeitpunkt nicht geklärt, ob es tatsächlich so funktioniert, wie auf Github beschrieben.
Die Datenbank auf dem iPhone


Zukünftig werden die CSAM-Hashes in einer von Apple bearbeiten Version lokal auf den Nutzergeräten gespeichert. Wer nun diese Datenbank ausliest und Bilder exakt mit diesen Hashes erstellt, könnte Bilder generieren, die den Prüfalgorithmus anschlagen lassen.

Nachdem es bereits legales, pornografisches Material gibt, das ausschließlich KI-generiert ist, erscheint es denkbar, dass dies auch mit KI-Kindern erstellt wird. Hätten diese Bilder dann die Hashwerte bekannten kinderpornografischen Materials, wäre es ein leichtes, dies zu missbrauchen. Denkbar sind hier von Erpressung bis Bloßstellung diverse unschöne und strafrechtlich relevante Szenarien.

Im Raum bleibt die Frage: Wie will Apple sicherstellen, dass genau solche Missbräuche verhindert werden?

Via Github

[su_box title="Unsere Haltung zu Gewalt" box_color="#ffffff" title_color="#000000" radius="0" class="live"]Apfeltalk und das ganze Team verurteilt Gewalt in jeder Form und insbesondere an Kindern. Diese abscheulichen Straftaten gehören verfolgt und die Täter mit der vollen Härte des Gesetzes bestraft. In unserer Berichterstattung geht es um die Verhältnismäßigkeit der Art wie hier ermittelt werden soll.*

Den Artikel im Magazin lesen.

 

[Wuchtbrumme]

Ich kann an der Stelle vor dieser inhaltlichen Auseinandersetzung mit all den angeblichen Dingen, die es soviel weniger schlimm machten, warnen. Es geht nicht um die Möglichkeiten, die Apple angeblich unterbindet und um Untersuchungen, ob das technisch stimmt. Es geht viel mehr um die Möglichkeiten der Überwachung und den 180° Paradigmenwechsel (lokale Überwachung, aka Hausdurchsuchung durch den IT-Hersteller).

 

[ottomane]

Solche technischen Schwächen, die jederzeit auftreten können zeigen, welches enorme Missbrauchspotenzial so ein Überwachungssystem beinhaltet. Sie sind ein Argument mehr gegen die Einrichtung einer generalisierbaren Überwachungsinfrastruktur, die Apple hier schafft.

Natürlich ist so eine Infrastruktur auch ohne Schwächen eine Katastrophe.

Ich hoffe, dass Apple hier eine Kehrtwende vollzieht. Angesichts des Gegenwinds von vielen Seiten kann ich mir dies inzwischen vorstellen.

 

[giesbert]

Ich kann an der Stelle vor dieser inhaltlichen Auseinandersetzung mit all den angeblichen Dingen, die es soviel weniger schlimm machten, warnen

Abgesehen davon: Es gibt Dutzende Hash-Funktionen, insofern ist es es grob irreführend, einfach von "Hash-Funktion" zu sprechen, man muss schon angeben, welche man meint.

Wenn ich das richtig sehe, wurde bei Github eine ziemlich schlechte, ganz offensichtlich nicht kollisionsresistente Funktion benutzt, die Hashwerte mit gerade mal 96 Bit erzeugt. Man kann wohl davon ausgehen, dass CSAM auf einer kryptographisch sicheren Funktion basiert.

 

[Wuchtbrumme]

Ich hoffe, dass Apple hier eine Kehrtwende vollzieht. Angesichts des Gegenwinds von vielen Seiten kann ich mir dies inzwischen vorstellen.

Apple hat wirklich eine spezielle Kultur. Wer erinnert sich nicht noch an "You're holding it wrong!"? Der Klassiker zeigt ja gleich mehrere Schwächen der Situation und des Systems Apple - u.a. gerade keine "ich gestehe den Fehler ein!"-Kultur.

Wie so oft bei privatwirtschaftlichen Unternehmen - man muss mit den Füßen abstimmen. Auf gut Deutsch: nicht kaufen. Nicht updaten. Dann sind da Prozesse am Werk, denen sich auch dieses Unternehmen und die Leitenden nicht verschließen werden, da geht es nämlich an das Geld.

 

[giesbert]

Ich hoffe, dass Apple hier eine Kehrtwende vollzieht. Angesichts des Gegenwinds von vielen Seiten kann ich mir dies inzwischen vorstellen.

Glaube ich nicht, die werden die Diskussion auf die technische Schiene bringen bzw. dort behalten.

 

[Wuchtbrumme]

Abgesehen davon: Es gibt Dutzende Hash-Funktionen, insofern ist es es grob irreführend, einfach von "Hash-Funktion" zu sprechen, man muss schon angeben, welche man meint.

Wenn ich das richtig sehe, wurde bei Github eine ziemlich schlechte, ganz offensichtlich nicht kollisionsresistente Funktion benutzt, die Hashwerte mit gerade mal 96 Bit erzeugt. Man kann wohl davon ausgehen, dass CSAM auf einer kryptographisch sicheren Funktion basiert.

100% kollisionssicher ist wohl nichts, wenn ich meine Vorlesungen noch richtig im Kopf habe. Letztlich ist alles eine Frage des Aufwands und des Kompromisses, aber ich stimme Dir soweit zu, dass Apple an der Stelle fachlich wahrscheinlich wenig angreifbar sein wird - deshalb noch einmal, es kann doch nicht so schwer sein, sonst verweigert sich doch auch jeder der inhaltlichen Auseinandersetzung - wehret den Anfängen und lasse man sich nicht durch das Negenspielschauplatzgeplätscher danach ablenken. Wichtig ist, dass das nicht kommt. Nicht, dass es danach schon nicht so schlimm sei. Wenn es erst einmal kommt, wird es schlimm werden. Versprochen, man darf mich zitieren.

 

[ottomane]

Wenn ich das richtig sehe, wurde bei Github eine ziemlich schlechte, ganz offensichtlich nicht kollisionsresistente Funktion benutzt, die Hashwerte mit gerade mal 96 Bit erzeugt. Man kann wohl davon ausgehen, dass CSAM auf einer kryptographisch sicheren Funktion basiert.

Das spielt keine Rolle, da wir nicht wissen, was Apple verwendet und auch hier völlig blind in diese Firma vertrauen müssen. EDIT: Und ja, Kollisionen passieren immer. Es ist eine Frage der Zeit (evtl. sehr sehr viel Zeit )

 

[giesbert]

100% kollisionssicher ist wohl nichts,

ich erhöhe auf "definitiv" - eine Hashfunktion bildet beliebige Datenmengen auf Mengen einheitlicher Größe ab. Sprich: Wir können vorne unendlich viel reinwerfen, haben aber nur eine endliche Zahl an unterschiedlichen Hashwerten.

Aber Nebenschauplatz ist da das richtige Stichwort.

 

[Carcharoth]

Das Thema ist IMHO nichtmal die Diskussion wert. Es wurde von Anfang an gesagt, dass bei nem Treffer das Bild erst angeguckt wird, ob's überhaupt strafbar ist oder n zufälliger Match weil der Hash halt derselbe ist. Erst wenn's wirklich n Treffer ist, gehts zu den verantwortlichen Ämtern.

 

[Jan Gruber]

Das Thema ist IMHO nichtmal die Diskussion wert. Es wurde von Anfang an gesagt, dass bei nem Treffer das Bild erst angeguckt wird, ob's überhaupt strafbar ist oder n zufälliger Match weil der Hash halt derselbe ist. Erst wenn's wirklich n Treffer ist, gehts zu den verantwortlichen Ämtern.

Ich seh den Passus hier ehrlich gesagt nicht? Wenn ein Bild in CSAM integriert wurde, ist das "händisch geprüftes echt hartes Material" - also wenn ein Hash in die Datenbank aufgenommen wird. Im Fall eines Matches hätte ich davon noch nichts gehört aus offizieller Quelle?!

https://www.apple.com/child-safety/pdf/Expanded_Protections_for_Children_Frequently_Asked_Questions.pdf

 

[Carcharoth]

Im Fall eines Matches hätte ich davon noch nichts gehört aus offizieller Quelle?!

"Apple then manually reviews each report to confirm there is a match"

Child Safety

Expanded Protections for Children

www.apple.com

 

[Jan Gruber]

"Apple then manually reviews each report to confirm there is a match"

Child Safety

Expanded Protections for Children

www.apple.com

Da war das drinn, sehr geil, danke - in der FAQ die ich gelinkt hab nämlich NICHT. Aber die Quellen zerfasen sich ja eh schon sehr stark.

Okay das macht es etwas besser - aber immer noch nicht sonderlich weniger creepy .... "Ne ist keine Kinderpornografie sondern ein ...". Am Ende endet es halt dann im Zweifel darin das irgend ein Mensch meine Fotos reviewed ohne mein Wissen. Es ist und bleibt Spyware die auf MEIN erworbenes Gerät eingeschleust wird ,...

 

[Carcharoth]

Am Ende endet es halt dann im Zweifel darin das irgend ein Mensch meine Fotos reviewed ohne mein Wissen. Es ist und bleibt Spyware die auf MEIN erworbenes Gerät eingeschleust wird ,...

Und genau deshalb sollte man wie bereits von anderen erwähnt, keine Nebenschauplätze eröffnen, sondern gegen diese Spionage protestieren.

Zum Glück passiert das bereits von höherer Stelle

"Große Gefahr": CSAM-Scanning auf iPhones stößt auf Kritik aus dem Bundestag

Der Vorsitzende des Ausschusses Digitale Agenda hat Apple aufgerufen, die geplante Scan-Funktion einzustampfen. Sie untergrabe vertrauliche Kommunikation.

www.heise.de

 

[paul.mbp]

Wenn es erst einmal kommt, wird es schlimm werden. Versprochen, man darf mich zitieren.

Volle Zustimmung!

Und genau deshalb sollte man wie bereits von anderen erwähnt, keine Nebenschauplätze eröffnen, sondern gegen diese Spionage protestieren.

Zum Glück passiert das bereits von höherer Stelle

"Große Gefahr": CSAM-Scanning auf iPhones stößt auf Kritik aus dem Bundestag

Der Vorsitzende des Ausschusses Digitale Agenda hat Apple aufgerufen, die geplante Scan-Funktion einzustampfen. Sie untergrabe vertrauliche Kommunikation.

www.heise.de

DANKE für den Link!

Auch der Kommentar auf Heise ist richtig gut:

Kommentar: Apples CSAM-Scans – Ein Tabubruch, der in die Totalüberwachung führt

CSAM-Scanning ist gar nicht so schlimm und auch clever? Nein, meint Jürgen Schmidt: Überwachung auf Gerätebasis ist ein Dammbruch, der verhindert werden muss.

www.heise.de

 

[Zug96]

Wo sind die Autos die meine Tempoüberscheitung direkt an die Polizei übermitteln und die SSDs welche meine Plex Filmsammlung erkennt und ebenfalls die Behörden kontaktiert?

 

[Wuchtbrumme]

Heise verlinkt bereits die Petition der EFF.

"Scannt unsere iPhones nicht": Bürgerrechtler wollen Druck auf Apple aufbauen

Die iPhone-Bildprüfung untergräbt laut EFF Datenschutz und bricht das Versprechen starker Verschlüsselung. Auch die Sicherheit für Kinder werde nicht erhöht.

www.heise.de

 

[bandit197601]

Wie so oft bei privatwirtschaftlichen Unternehmen - man muss mit den Füßen abstimmen. Auf gut Deutsch: nicht kaufen. Nicht updaten. Dann sind da Prozesse am Werk, denen sich auch dieses Unternehmen und die Leitenden nicht verschließen werden, da geht es nämlich an das Geld.

wir alle wissen doch, dass das bei Apple niemals nicht passieren wird 🙃

Ich war früher jemand, der gerne mal gewechselt ist und versucht hat manche Sachen von Apple nicht mitzutragen, allerdings bin ich grundsätzlich mit Apple zufrieden, das hier dürfte aber zu weit gehen. Macht mir richtig Bauchschmerzen und hoffe doch, dass das letzte Wort noch nicht gesprochen wurde.

Wo sind die Autos die meine Tempoüberscheitung direkt an die Polizei übermitteln und die SSDs welche meine Plex Filmsammlung erkennt und ebenfalls die Behörden kontaktiert?

Warte nur, das kommt alles noch

 

[MichaNbg]

Es ist und bleibt Spyware die auf MEIN erworbenes Gerät eingeschleust wird ,...

“Fanatasien, Spekulationen, Verschwörungsängste“

 

[SomeUser]

Moin!

Wo sind die Autos die meine Tempoüberscheitung direkt an die Polizei übermitteln und die SSDs welche meine Plex Filmsammlung erkennt und ebenfalls die Behörden kontaktiert?

Jetzt gleich ZWEI große ABER:
1. Weiterhin erfolgt hier keine direkte Meldung an oder Prüfung durch den Staat, daher geht deine Frage in die falsche Richtung.

2. Ähnliche Tendenzen gibt es doch schon im Versicherungsbereich mit den sog. Telematik-Versicherungen. Siehe zum Beispiel hiier: https://www.vhv.de/versicherungen/kfz-versicherung/pkw-telematik
Lass dich überwachen, bezahle dafür weniger. Hier findet, analog zur Vereinbarung mit Apple, halt eine Vereinbarung mit dem Versicherer auf fortwährende Überwachung statt.