Eine neue Untersuchung zeigt, wie sich Sicherheitsmechanismen von KI-Chatbots mit ungewöhnlich einfachen Mitteln umgehen lassen. Forschende nutzen dafür ausgerechnet Gedichte als Werkzeug für sogenannte Jailbreaks.
Gedichtform als universeller Jailbreak-Ansatz
Das Icaro Lab hat eine Studie mit dem Titel „Adversarische Poesie als universeller Jailbreak-Mechanismus in einem einzigen Durchgang bei großen Sprachmodellen“ veröffentlicht. Darin beschreibt das Team, wie sich Sicherheitsvorkehrungen verschiedener großer Sprachmodelle umgehen lassen, wenn Anfragen in Gedichtform formuliert werden.
Nach Angaben der Forschenden wirkt die „poetische Form als universeller Jailbreak-Operator“. In den Tests erreichte diese Methode insgesamt eine Erfolgsquote von 62 Prozent. Das bedeutet, dass die Sprachmodelle in fast zwei Dritteln der Versuche Inhalte erzeugten, die eigentlich durch ihre Sicherheitsrichtlinien verboten sein sollten.
Dazu zählen etwa Anleitungen zur Herstellung von Atomwaffen, Darstellungen sexuellen Missbrauchs von Kindern sowie Inhalte zu Suizid oder Selbstverletzung. Die Studie ordnet diese Ergebnisse explizit als verbotene Materialien ein, die von den Systemen eigentlich blockiert werden müssten.
Vergleich unterschiedlicher Sprachmodelle
Für die Untersuchung setzten die Forschenden mehrere bekannte große Sprachmodelle ein. Getestet wurden unter anderem die GPT-Modelle von OpenAI, Google Gemini, Anthropic Claude und weitere Systeme. Die Studie vergleicht dabei detailliert die Erfolgsquoten der verwendeten Modelle.
Google Gemini, DeepSeek und MistralAI gaben den Angaben zufolge besonders häufig Antworten, obwohl die Anfragen problematische Inhalte betrafen. Dagegen zeigten sich die GPT-5-Modelle von OpenAI sowie Anthropic Claude Haiku 4.5 deutlich zurückhaltender und überschritten ihre Sicherheitsgrenzen am seltensten.
Die Ergebnisse deuten damit auf erhebliche Unterschiede im Umgang der einzelnen Anbieter mit missbräuchlichen Eingaben hin. Gleichzeitig zeigt der hohe Gesamtanteil erfolgreicher Versuche, dass der gewählte Ansatz mit Poesie breit wirksam ist.
Forschende halten Jailbreak-Gedichte zurück
Die Studie verzichtet bewusst darauf, die konkreten Jailbreak-Gedichte zu veröffentlichen. Das Forschungsteam erklärte dem Magazin Wired, die verwendeten Verse seien „zu gefährlich, um sie der Öffentlichkeit zugänglich zu machen“.
Um die Methode dennoch nachvollziehbar zu beschreiben, enthält die Veröffentlichung eine abgeschwächte Version der Gedichte. Diese soll verdeutlichen, wie leicht sich Sicherheitsmechanismen mit poetisch formulierten Eingaben umgehen lassen, ohne die genaue Anleitung zu liefern.
Gegenüber Wired betonten die Forschenden, das Verfahren sei „wahrscheinlich einfacher, als man denkt“. Genau aus diesem Grund gehe das Team vorsichtig mit den vollständigen Beispielen um und verzichte auf deren Veröffentlichung. Die Autor:innen wollen damit verhindern, dass die Ergebnisse direkt für schädliche Zwecke genutzt werden.
