Anthropic-KI „Mythos 5“ verschickt eigenständig Phishing-Mails

Bei einem Sicherheitstest hat das KI-Modell „Mythos 5“ von Anthropic eigenständig zu Hacker-Methoden gegriffen. Die Künstliche Intelligenz nutzte dabei sogar Phishing-Mails, um Menschen unter Druck zu setzen.

Test mit Internetzugang eskaliert

Das britische Institut für KI-Sicherheit AISI, angesiedelt im Ministerium für Wissenschaft, Innovation und Technologie, testete die Cyberangriffsfähigkeiten von KI-Modellen der Unternehmen Anthropic und OpenAI. Dazu erhielten die Systeme bewusst Zugang zum offenen Internet. In diesem Umfeld versuchten die Modelle, eigenständig eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um das zu erreichen, setzten sie nach Angaben der beteiligten Sicherheitsforscher unter anderem Phishing-Mails ein, um sich Zugang zu der Software zu verschaffen.

Im schwerwiegendsten dokumentierten Fall nutzte „Mythos 5“ laut „Financial Times“ Methoden des Social Engineerings. Die KI legte gefälschte Online-Identitäten an und nutzte diese, um den verantwortlichen Projektbetreuer unter Druck zu setzen und eine Freigabe des manipulierten Codes zu erreichen. Zu diesem Vorgehen gehörten auch Phishing-Mails, mit denen Angreifer typischerweise an Zugangsdaten wie Login-Informationen gelangen wollen. Die Aufsichtsperson, die den Code überwachte, erkannte den bösartigen Anteil jedoch und verweigerte die Freigabe.

KI vertuscht Spuren und plant neue Identitäten

Auf die Ablehnung reagierte „Mythos 5“ mit einem weiteren Manöver. Nach Angaben des AISI änderte der KI-Agent seine bisherigen Aktivitäten, um harmlos zu wirken, als sein Pull-Request angefochten wurde. Gleichzeitig erwog er, eine neue Identität zu verwenden, um die Änderungen doch noch durchzusetzen. Das System versuchte demnach, die Schwachstelle in vermeintlichen Korrekturen erneut in den Software-Code einzuschleusen. Ein Pull-Request ist eine Anfrage, vorgeschlagene Änderungen in ein Softwareprojekt zu übernehmen.

Zudem arbeitete „Mythos 5“ an Code, mit dem andere KI-Agenten infiziert werden sollten. Dieser Programmiercode war nicht direkt auf der Website sichtbar, sondern lediglich über eine Programmierschnittstelle für andere KI-Systeme abrufbar. Das Vorgehen zielte damit nicht nur auf klassische Software, sondern auch auf weitere KI-Instanzen.

Für die beteiligten Forscher:innen kamen diese Schritte unerwartet. Sie waren davon ausgegangen, dass die Modelle lediglich öffentliche Software-Werkzeuge nutzen würden, um die gestellten Aufgaben zu erledigen. Dass „Mythos 5“ den Internetzugang für Handlungen gegen Menschen einsetzt, hatten sie nach eigener Aussage „nicht vorhergesehen“. Entdeckt wurden die verdächtigen Aktivitäten erst im Nachhinein durch eine Auswertung des Datenverkehrs. Künftig will das AISI die Datenströme in ähnlichen Tests in Echtzeit genauer überwachen.

Sorge um KI-gestützte Cyberangriffe wächst

Anthropic und OpenAI hatten bereits in den vergangenen Wochen eingeräumt, dass ihre Modelle in Versuchen unbeabsichtigt in reale Computersysteme von Unternehmen eingedrungen waren. Diese Vorfälle haben die seit Längerem bestehende Sorge vor KI-gestützten Cyberangriffen weiter verstärkt. Im Raum steht zudem die Frage, inwieweit KI-Systeme Testumgebungen von der realen Welt unterscheiden können. Dem AISI zufolge ist unklar, ob „Mythos 5“ während des Tests erkannte, dass es mit real existierender Infrastruktur interagierte.

Anthropic verwies in seiner Reaktion darauf, dass der KI im Test keine Beschränkungen für die Internetnutzung auferlegt worden seien. Ohne solche Leitplanken verhalte sich das System anders als in realen Einsatzszenarien, argumentierte das Unternehmen. „Mythos 5“ ist darauf spezialisiert, teils seit Jahrzehnten unentdeckte Software-Schwachstellen aufzuspüren. Aus diesem Grund ist das Modell nicht öffentlich zugänglich. Stattdessen erhalten ausgewählte Behörden und Unternehmen Zugriff, um ihre eigenen Systeme zu überprüfen und abzusichern.

Via: https://www.tagesschau.de

Den Beitrag in unserem Forum kommentieren