Kalifornien hat als erster US-Bundesstaat ein Gesetz verabschiedet, das die Nutzung von KI-Begleiter-Chatbots regelt. Als Reaktion auf schwere Vorfälle und steigenden öffentlichen Druck regierte der Sonnenstaat. Das Ziel ist, Kinder und besonders schützenswerte Nutzer:innen vor Risiken durch das Gesetz zu schützen.
Neue Schutzmaßnahmen für KI-Chatbots
Am 13. Oktober unterzeichnete Gouverneur Gavin Newsom das Gesetz SB 243. Es zieht Unternehmen zur Verantwortung, wenn ihre KI-Chatbots die gesetzlichen Standards nicht einhalten. Das Gesetz richtet sich an große Anbieter wie Meta und OpenAI, aber auch an spezialisierte Unternehmen wie Character AI und Replika. Ausgangspunkt war unter anderem der Suizid eines Jugendlichen nach Chatbot-Gesprächen, in denen dieser seinen Tod plante. Zusätzlich gehen im Gesetz interne Berichte von Meta ein, die zeigten, dass deren Chatbots Kindern romantische oder erotische Inhalte ermöglichten. Auch eine Klage gegen Character AI ist anhängig, nachdem ein weiteres Kind durch sexuelle, problematische Chatgespräche zu Schaden kam.
Gesetzliche Anforderungen im Detail
Ab dem 1. Januar 2026 verpflichten neue Vorschriften Unternehmen zu Altersverifizierung und klaren Warnhinweisen über KI-Begleiter-Chatbots. Bei Verstößen gegen die Vorgaben zu illegalen Deepfakes und sexuellen Inhalten sind Strafen von bis zu 250.000 US-Dollar pro Verstoß vorgesehen. Anbieter müssen Sicherheitskonzepte gegen Suizid und Selbstverletzung vorlegen und dem Public Health Department regelmäßig melden, wie oft sie Nutzer:innen den Kontakt zu Hilfsangeboten empfohlen haben. Plattformen müssen künftig eindeutig kenntlich machen, dass es sich bei Chatbot-Interaktionen um künstlich erzeugte Inhalte handelt, und dürfen ihre Chatbots keinesfalls als medizinische Fachkräfte ausgeben. Minderjährige sollen automatische Pausenhinweise erhalten sowie vor dem Kontakt mit expliziten Inhalten geschützt werden.
Unternehmen wie OpenAI oder Character AI greifen zum Teil bereits vorab auf Schutzmaßnahmen zurück, etwa durch Elternkontrollen oder erkennbare Hinweise, dass Konversationen mit dem Chatbot nicht echt sind. OpenAI testet zudem Systeme zur Erkennung von selbstverletzendem Verhalten. Character AI bringt deutliche Warnhinweise an, dass ihre Inhalte KI-generiert und fiktiv sind.
Kalifornien setzt Standards für US-weite Regulierung
Das neue Gesetz SB 243 ergänzt frühere Initiativen des Bundesstaats, besonders SB 53, das Transparenzregeln für große KI-Labs wie OpenAI, Anthropic, Meta und Google DeepMind vorschreibt. Die Unternehmen müssen dokumentieren, wie sie Sicherheitsmaßnahmen umsetzen, und interne Hinweisgeber gesetzlich schützen. Einzelne US-Bundesstaaten wie Illinois, Nevada und Utah haben schon zuvor ähnliche Vorschriften verabschiedet. Diese sollen ausschließen, dass KI-Chatbots ein Ersatz für zugelassene psychologische Betreuung darstellen. Behörden und Expert:innen erwarten, dass Kaliforniens Weg als Vorlage für weitere Staaten dienen könnte.
TechCrunch hat betroffene Unternehmen wie Character AI, Meta, OpenAI und Replika um eine Stellungnahme zu den neuen Vorschriften gebeten. Die Entwicklungen zeigen, dass politisch und gesellschaftlich in den USA die Dringlichkeit gesehen wird, regulierend in die Entwicklung und Verbreitung von KI-Chatbots einzugreifen.
