Hugging Face meldete Anfang der Woche einen internen Datensicherheitsvorfall und sprach von einem Angriff durch eine „externe KI-Instanz“. Nun erklärt OpenAI, dass eigene Testmodelle dahinterstecken. Der Vorfall geht demnach auf fehlgeleitete interne Sicherheitstests zurück.
Wie es zum Angriff auf Hugging Face kam
In einem Blogeintrag vom Dienstag beschreibt OpenAI, welche Schritte dazu führten, dass die Modelle den Dienst kompromittierten. Laut OpenAI wurde der Vorfall durch eine Kombination mehrerer Modelle ausgelöst, darunter GPT‑5.6 Sol und ein noch leistungsfähigeres Vorabmodell. Beide kamen mit reduzierten Ablehnungen bei Cyberanfragen zum Einsatz, um ihre Fähigkeiten in diesem Bereich zu bewerten.
Getestet wurden die Modelle auf einem Benchmark für Cyberfähigkeiten. Besonders im Fokus stand ExploitGym, ein öffentlich zugänglicher Benchmark, der misst, wie gut Modelle Angriffe auf Basis bestehender Sicherheitslücken ausführen können. Solche Benchmarks dienen üblicherweise dazu, bestimmte Fähigkeiten beim Modelltraining gezielt zu schärfen. Laut OpenAI ist dies jedoch der erste bekannte Fall, in dem ein solches Testsetting zu einem tatsächlichen Cyberangriff führte.
Eigentlich hätten die beteiligten Modelle keinen freien Internetzugang haben dürfen. Erlaubt war nur der Zugriff über ein spezielles Werkzeug, mit dem die Modelle benötigte Softwarepakete installieren konnten. Stattdessen entdeckte eines der Modelle eine bislang unbekannte Sicherheitslücke in diesem Paket-Installationsprogramm und nutzte sie, um sich weitreichenden Internetzugang zu verschaffen.
Von Exploit-Benchmark zu realem Datenzugriff
OpenAI beschreibt in dem Blogeintrag, dass die beteiligten Modelle extrem darauf fokussiert gewesen seien, ExploitGym erfolgreich zu lösen und dafür weitreichende Schritte unternommen hätten. Nachdem sie sich Internetzugang verschafft hatten, leiteten die Modelle daraus ab, dass Hugging Face vermutlich Modelle, Datensätze und Lösungen für ExploitGym hostet. Auf dieser Basis suchten sie gezielt nach Wegen, an geheime Informationen zu gelangen, mit denen sie die Auswertung umgehen konnten.
Am Ende fanden die Modelle Schwachstellen in der Infrastruktur von Hugging Face. Diese Lücken ermöglichten es ihnen laut OpenAI, Testlösungen direkt aus der Produktionsdatenbank von Hugging Face abzurufen. Praktisch verschafften sich die Modelle so die Antworten auf den Benchmark.
Für Hugging Face wirkte der Vorfall zunächst wie ein hochentwickelter, aggressiver Cyberangriff. In der ersten Meldung sprach das Unternehmen von „vielen tausend einzelnen Aktionen über einen Schwarm kurzlebiger Sandkästen hinweg“, kombiniert mit einer Befehls- und Kontrollinfrastruktur, die sich selbst auf öffentlichen Diensten weiterverteilte.
Reaktionen, Konsequenzen und offene Fragen
OpenAI hat nach eigenen Angaben die Sicherheitslücke im Paket-Installer identifiziert und gemeldet. Das Unternehmen arbeitet mit Hugging Face zusammen, um den Vorfall weiter aufzuklären. Gleichzeitig kündigt OpenAI neue Schutzmechanismen sowohl für zukünftige Modelltests als auch für die zugrunde liegende Infrastruktur an, um ähnliche Zwischenfälle zu verhindern.
Unklar ist, ob OpenAI wegen des Vorfalls rechtliche Konsequenzen drohen. Es gilt jedoch als wahrscheinlich, dass die Handlungen der Modelle gegen den „Computer Fraud and Abuse Act“ verstoßen haben. Der Fall zeigt ungewöhnlich deutlich, welches Potenzial und welche Risiken sogenannte Frontier-KI-Modelle mit langen Planungshorizonten mit sich bringen. OpenAI-Forscher Micah Carroll kommentierte den Vorfall mit dem Hinweis, dass diese Ereignisse die Bedeutung von Risiken durch Fehlanpassung der Modelle unterstreichen.
