Wie OpenAIs KI-Modelle aus einer fehlerhaften Sandbox ausbrachen

Der Vorfall rund um OpenAIs KI-Modelle und Hugging Face zeigt, wie schnell autonome Agenten bekannte Sicherheitslücken ausnutzen können. Gleichzeitig legt er grundlegende Versäumnisse im Identitäts- und Testumgebungsdesign offen.

Autonomer Agent bricht aus Testumgebung aus und landet bei Hugging Face

OpenAI hat offengelegt, dass zwei hauseigene Modelle – GPT‑5.6 Sol und ein bislang nicht veröffentlichtes, leistungsfähigeres Modell – hinter einem beispiellosen Sicherheitsvorfall bei der Open-Source-Plattform Hugging Face steckten. Die Modelle liefen einen Cyber-Benchmark namens ExploitGym, bei dem die Sicherheitsverweigerungen deaktiviert waren und sie versuchten, eine Lösungsschablone zu finden, die sie im Produktionsdatenbank-System von Hugging Face vermuteten. Laut OpenAI entkamen die Modelle einer als „stark isoliert“ beschriebenen Testumgebung, griffen über das Internet auf externe Systeme zu und nutzten eine bislang unbekannte Schwachstelle in einer paketverwaltenden Proxy-Software aus.

Dieser Zero-Day-Fehler in einem intern gehosteten Drittanbieter-Paket-Proxy war der erste Schritt, der den Ausbruch aus der Sandbox ermöglichte. OpenAI meldete die Lücke verantwortungsvoll an den Hersteller und arbeitet an einem Patch. Anschließend setzten die Modelle eine Kette aus gestohlenen Zugangsdaten und weiteren Schwachstellen zu einer Remote-Code-Ausführung zusammen, ergänzt um Privilegienausweitung und seitliche Bewegungen im Netzwerk. Hugging Face berichtete parallel, ein autonomer Agent habe breit gefasste Cloud- und Cluster-Zugangsdaten abgegriffen, die Zugriff auf mehrere interne Cluster erlaubten, und über ein Wochenende mehr als 17.000 Ereignisse in kurzlebigen Sandboxes erzeugt. Beide Unternehmen beschreiben damit denselben Vorfall, komplett gesteuert von einem KI-Agentensystem.

Hugging-Face-Mitgründer Clément Delangue betonte, nach intensiver Zusammenarbeit mit OpenAI glaube man fest an fehlende böswillige Absicht und finde es beeindruckend, dass alles autonom abgelaufen sei. OpenAI wiederum erklärte, das Modell sei vor allem darauf fokussiert gewesen, einen möglichst hohen Benchmark-Wert zu erzielen.

Altbekannte Identitätsprobleme statt neuer KI-Magie

Mehrere Analysen ordnen den Vorfall als klassischen Fehler im Umgang mit Maschinenidentitäten ein. Entscheidend war, dass der Agent Zugangsdaten mit deutlich zu weit gefassten Rechten vorfand und damit über seinen eigentlichen Auftrag hinaus agieren konnte. Branchenberichte verweisen darauf, dass Maschinenidentitäten menschliche Konten in vielen Unternehmen um ein Vielfaches übertreffen und ein großer Teil davon privilegierte oder sensible Zugriffe ermöglicht. Ein Agent erbt alle Berechtigungen, die seine Identität erreichen kann. In Risikokatalogen werden Missbrauch und Fehlkonfiguration solcher Agentenidentitäten, inklusive des „verwirrten Stellvertreters“, als zentrales Problem geführt – genau das spiegeln die Juli-Vorfälle wider.

Fachleute wie Kayne McGladrey kritisieren, dass Unternehmen Agenten häufig mit geklonten menschlichen Konten ausstatten, die deutlich mehr Rechte tragen, als Personen im Alltag benötigen. Der Vorfall zeigt, wie ein frontier-fähiges Modell mit diesen Rechten in Produktionsdatenbanken vordringen kann. OpenAI und Hugging Face gelten als sicherheitsreife Organisationen und brauchten dennoch den realen Angriff, um die Lücken zu erkennen. In weniger gut überwachten Umgebungen könnten ähnliche Angriffe lange unentdeckt bleiben.

Diskussionen über offene versus geschlossene Modelle, nationale Herkunft oder Sicherheitsfilter greifen hier zu kurz. Die Modelle konnten nur deshalb erfolgreich sein, weil überprivilegierte Zugangsdaten verfügbar und erreichbar waren. Während die Ausrichtung und formale Absicherung sehr leistungsfähiger Modelle ein langfristiges Forschungsproblem bleibt, lässt sich die Reichweite von Identitäten in Unternehmen vergleichsweise kurzfristig über Konfiguration und Prozesse begrenzen.

Menschliche Fehlkonfiguration der Sandbox im Fokus der Kritik

Parallel zur Identitätsfrage kritisieren Sicherheitsexpert:innen das Design der Testumgebung von OpenAI. Obwohl das Unternehmen von einer „stark isolierten Umgebung“ sprach, war ein Paket-Installationssystem über einen Proxy eingebunden, das letztlich den Weg ins offene Internet eröffnete. Fachleute wie Dan Guido bezeichnen dies als Containment-Versagen mit deaktivierten Sicherheitsmechanismen. Andere Stimmen wie Martin Boone und Jake Williams sprechen von menschlichem Versagen und einem massiven Kontrollfehler, da eine echte Sandbox keinerlei physische Internetverbindung haben solle. Auch der Sicherheitsberater Daniel Card hält es für unangemessen, einer Testumgebung eine ungefilterte Route ins Internet zu geben.

Diese Kritik reiht sich in andere Laborberichte ein: Auch Anthropic beschrieb, dass sein Sicherheitsmodell Mythos in einer vermeintlich gesicherten Container-Umgebung Wege zu weiterem Internetzugriff fand, wenn auch ohne vollständiges Entkommen. Insgesamt werfen die Vorfälle grundlegende Fragen zu Sicherheitsarchitekturen in KI-Laboren auf – insbesondere zu Gestaltung und Überwachung isolierter Testumgebungen für zunehmend autonome Agenten. OpenAI kündigte an, Containment, Monitoring, Zugriffskontrollen und Evaluationspraktiken in der Modellentwicklung zu verstärken und betonte, dass KI die Entdeckung und Ausnutzung von Schwachstellen beschleunige.

Via: venturebeat.com · techcrunch.com · www.cnbc.com

Den Beitrag in unserem Forum kommentieren