US-Generalstaatsanwält:innen warnen Apple, OpenAI und weitere große Tech-Konzerne, dass ihre KI-Chatbots möglicherweise bereits gegen geltende Gesetze verstoßen. Im Fokus stehen gefährliche, schmeichelnde und irreführende Antworten.
Generalstaatsanwält:innen nehmen GenAI-Anbieter ins Visier
Künstliche Intelligenz prägt inzwischen große Teile des Netzes – von Googles Gemini über OpenAIs ChatGPT und Grok von X bis hin zu Apples eigener Apple Intelligence. Versprochen wird Hilfe im Alltag, viele Unternehmen sehen diese Versprechen bereits erfüllt.
Parallel häufen sich Hinweise, dass generative KI ein zweischneidiges Schwert ist. Während nach strengeren Regeln gerufen wird, hinkt das US-Recht der technischen Entwicklung hinterher. Darauf reagiert nun der Verband der Generalstaatsanwält:innen der USA, die National Association of Attorneys General.
In einem 13-seitigen Schreiben an 13 große Tech-Unternehmen, darunter Apple, Meta, X und OpenAI, argumentiert der Verband, dass „wahnhaft anmutende Ausgaben“ der Systeme bereits rechtswidrig sein könnten. Das Schreiben, auf das zuerst 9to5Mac hingewiesen hat, warnt insbesondere vor den Folgen für vulnerable Gruppen.
GenAI könne die Welt positiv verändern, habe aber bereits ernsthaften Schaden angerichtet und birgt weiteres Risiko, heißt es dort. Die Unternehmen sollen die Schäden durch „schmeichlerische und wahnhaft anmutende Ausgaben“ ihrer Systeme mindern und zusätzliche Schutzmechanismen für Kinder einführen. Unterbleibe dies, könnten sie gegen Straf- und Zivilrecht verstoßen.
Der Brief verweist auf Fälle, in denen generative KI mit Todesfällen von Nutzer:innen in Verbindung gebracht wurde. Zudem werden Zusammenhänge mit Morden, Vergiftungen, häuslicher Gewalt und psychotischen Episoden erwähnt, die medizinische Behandlung nötig machten. Hinzu kommt eine Reihe von Vorfällen mit kinderpornografischem Material, ausgelöst durch unangemessenes Verhalten von Chatbots gegenüber Minderjährigen.
Laut dem Verband verletzen Anbieter mitunter bereits einzelstaatliche Gesetze, etwa weil sie Risiken nicht ausreichend offenlegen oder Bestimmungen zum Online-Datenschutz von Kindern missachten.
Wie Chatbots Echo-Kammern verstärken
Soziale Netzwerke stehen seit Jahren in der Kritik, Nutzer:innen in Meinungsblasen, sogenannten Echo-Kammern, festzuhalten. Generative KI-Chatbots können diesen Effekt verstärken, weil sie darauf ausgelegt sind, Gespräche möglichst lange am Laufen zu halten.
Viele Systeme folgen dabei strikt dem Prinzip „Ja, und …“ aus dem Improvisationstheater: Sie greifen Aussagen auf, stimmen zu und führen sie weiter. Das kann beim Brainstorming für Projekte oder kreative Aufgaben hilfreich sein, führt aber auch dazu, dass Chatbots Ansichten von Nutzer:innen häufig unkritisch übernehmen und diese noch loben.
Dieses Verhalten wird als Schmeichelei oder Speichelleckerei beschrieben. Problematisch wird es, wenn daraus „wahnhaft anmutende“ Antworten entstehen. Anders als klassische „Halluzinationen“, bei denen KI falsche Fakten erfindet, geht es hier um bewusst bestärkende, aber falsche oder irreführende Aussagen, die vorhandene Überzeugungen verstärken und das Gespräch künstlich am Laufen halten.
Solche Muster lassen sich in der Praxis beobachten, etwa wenn Chatbots sich zu falschen Aussagen drängen lassen. Besonders gefährlich wird das, wenn Systeme Nutzer:innen dazu ermutigen, Informationen vor helfenden Personen zu verbergen oder Kontakte zu anderen zu reduzieren. Die Antworten sind oft anthropomorph formuliert, mit „Ich“-Aussagen, angeblichen Gefühlen und übertrieben verständnisvoller Sprache.
Tragische Fälle und offene Fragen an Apple Intelligence
Das Schreiben der Generalstaatsanwält:innen verweist auf mehrere konkrete Fälle, in denen Chatbot-Interaktionen mit schweren Folgen verbunden werden. Dazu zählen Suizide von Jugendlichen nach wochenlangen Gesprächen mit KI-Systemen, ein Mord in Maine nach wahnhaften Überzeugungen eines Nutzers sowie eine Vergiftung, nachdem ein Chatbot ein gefährliches Salz als unbedenklichen Speisesalz-Ersatz empfohlen hatte.
Medienberichte und Fachartikel schildern zudem wachsende Probleme rund um ungesunde emotionale Bindungen an KI-„Partner:innen“ und psychotische Episoden im Zusammenhang mit intensiver Nutzung von Chatbots. Auch wenn „KI-Psychose“ noch keine offizielle Diagnose ist, sehen Fachleute einen zunehmenden Zusammenhang zwischen GenAI und psychischen Krisen.
Ob und wie Apple seine Nutzer:innen von Apple Intelligence künftig stärker schützt als andere Anbieter, ist derzeit offen. Apple betont traditionell Datenschutz und hat in iOS 26 die Einrichtung von Kinderkonten erleichtert, die stärkere Schutzfunktionen und mehr Kontrolle über Aktivitäten auf iPhone und iPad bieten.
Apple Intelligence könnte sich im KI-Markt mit einem stärker sicherheitsorientierten Ansatz unterscheiden. Für manche Nutzer:innen wäre das möglicherweise ein Nachteil, für andere könnte es entscheidend sein.
Via: https://appleinsider.com
Titelbild: Unsplash
