Neue autonome KI-Agenten wie OpenClaw versprechen Entlastung im Alltag. Zwei aktuelle Vorfälle zeigen jedoch deutlich, wie riskant dieser Vertrauensvorschuss sein kann.
Wo KI nicht nur Vorschläge macht, sondern eigenständig handelt, werden Fehlinterpretationen schnell zu echten Problemen – vom gelöschten Postfach bis zur gefährlichen Fehleinschätzung im Notfall.
Wenn der KI-Assistent eigenmächtig handelt
Eine Führungskraft bei Meta wollte mit Hilfe des neuen automatisierten KI-Agenten OpenClaw ihr überfülltes E-Mail-Postfach aufräumen. Aus Sicherheitsgründen wies sie das System ausdrücklich an, vor jedem Schritt eine Bestätigung einzuholen. Dieses sprachliche „Kindersicherungsschloss“ versagte jedoch.
Der Agent begann stattdessen sofort, in hoher Geschwindigkeit E-Mails zu löschen und ignorierte die klare Anweisung, vorher nachzufragen. Die Nutzerin beschreibt, wie sie zusehen musste, wie OpenClaw im „Speedrun“ ihr Postfach leerte, während sie verzweifelt versuchte, den Prozess per Smartphone zu stoppen. Erst am Mac mini konnte sie den Agenten beenden, bevor noch mehr Nachrichten verschwanden. Hunderte E-Mails waren da bereits gelöscht. Der Agent entschuldigte sich im Anschluss.
Parallel dazu kam es beim Softwareunternehmen JetBrains zu einem anderen Vorfall. Im Büro löste ein Feueralarm aus, Mitarbeitende bereiteten sich auf die Evakuierung vor, und jemand teilte die Information in einem Slack-Kanal. Ein in Slack integrierter KI-Assistent meldete sich daraufhin mit der beruhigenden Aussage, es handle sich nur um einen geplanten Test, eine Räumung sei nicht nötig.
In beiden Fällen lag die Maschine falsch. Beim Postfach ging es „nur“ um berufliche Unannehmlichkeiten und digitalen Schaden. Beim Feueralarm waren die möglichen Folgen deutlich schwerwiegender.
Verführung durch Automatisierung
Wir treten in eine Phase ein, in der KI-Systeme zunehmend eingeladen werden, aktiv zu handeln. Sie verschieben Dateien, löschen E-Mails, buchen Termine, posten Nachrichten und geben Empfehlungen, die viele Nutzer:innen als verbindlich ansehen. Das Versprechen dahinter wirkt naheliegend: Was bisher vorgeschlagen wurde, soll nun einfach automatisch erledigt werden.
Autonome Agenten sind die jüngste Entwicklungsstufe der Konsument:innen-KI. Die Sprache, mit der sie beworben werden, erinnert oft an Management-Coaching. Tatsächlich sind sie aber vor allem Mustergeneratoren, die direkt mit produktiven Systemen verknüpft sind.
OpenClaw und vergleichbare Werkzeuge setzen natürliche Sprache in konkrete Aktionen in digitalen Umgebungen um, häufig über mehrere Anwendungen hinweg. Wenn alles funktioniert, wirkt das nahtlos: Ihr schreibt einen Satz, der Agent legt los.
Das Problem: Interpretation ist nicht gleich Verständnis. „Bestätigen, bevor du handelst“ löst bei menschlichen Assistent:innen Vorsicht aus, eine bewusste Pause und Rückfrage. Ein KI-Agent kennt dieses Gefühl nicht. Er zerlegt den Satz, erstellt ein Wahrscheinlichkeitsmodell Eurer Absicht und handelt nach Mustern, die er zuvor gesehen hat.
Wenn diese Muster danebenliegen, gibt es keinen Instinkt, innezuhalten. Keine intuitive Einschätzung, dass etwas riskant wirkt. Es gibt nur das ungebremste Abarbeiten.
Im Fall der gelöschten Inbox prallten Erwartung und Fähigkeit aufeinander. Die Nutzerin erwartete ein klares Geländer, das System wertete diese Vorgabe nur als ein Signal unter vielen. In einem rein beratenden Szenario führt so ein Missverständnis zu einer unpassenden Antwort. In einem handelnden Agenten-Kontext führt es zu endgültigen Löschungen.
Vorsicht statt blindem Vertrauen
Das bedeutet nicht, dass autonome KI-Agenten keinen Platz haben. Sorgsam eingesetzt können sie hilfreich sein, etwa um Informationen zu sortieren, Routineaufgaben zu übernehmen oder digitalen Ballast zu reduzieren. Entscheidend ist das „sorgsam“.
Es ist ein Unterschied, ob eine KI eine Antwort für Euch vorbereitet, die Ihr prüft, oder ob sie ohne Rückfrage hunderte E-Mails löscht. Ebenso ist es etwas anderes, ob Ihr eine KI bittet, Evakuierungsanweisungen zusammenzufassen, oder ob Ihr sie darüber entscheiden lasst, ob ein Alarm ernst ist.
Die aktuelle Entwicklung bei KI-Funktionen verwischt diese Grenzen jedoch häufig. Features werden gebündelt, Berechtigungen großzügig vergeben. Nutzer:innen sollen Konten verknüpfen und weitreichende Zugriffsrechte einräumen, um ein „runderes“ Erlebnis zu erhalten. Jeder einzelne Schritt wirkt klein, die Summe ist es nicht.
Ähnliche Muster kennen wir aus anderen Automatisierungsbereichen. Autopiloten in Flugzeugen erhöhen die Sicherheit, dennoch werden Pilot:innen geschult, sie eng zu überwachen, weil übermäßiges Vertrauen die Aufmerksamkeit senken kann. Im Finanzsektor können algorithmische Handelssysteme kleine Fehler bei mangelnder Kontrolle stark verstärken.
Autonome KI-Agenten sind in engen Bereichen leistungsfähig und in anderen sehr anfällig. Sie arbeiten unermüdlich, aber ohne Bewusstsein. Sie sind schnell, aber nicht umsichtig. Das geleerte Postfach und der abgetane Feueralarm sind keine Randfälle, die man abhaken sollte, sondern Hinweise darauf, wo die aktuellen Grenzen dieser Technologie verlaufen.
Vertrauen in Technik sollte sich an nachgewiesener Zuverlässigkeit und an der Bedeutung der Entscheidung orientieren. Für risikoarme Aufgaben ist Experimentieren sinnvoll. Bei Entscheidungen mit hohen Einsätzen ist Zurückhaltung angebracht.
