Apple zeigt: KI-Agenten vollständig lokal auf dem Mac mit MLX ausführen

Apple erklärt Entwickler:innen, wie sich agentische KI-Workflows komplett lokal auf dem Mac betreiben lassen. Eine WWDC-Session stellt dafür einen Software‑Stack rund um das Framework MLX vor.

Vier Ebenen für lokale KI-Agenten

Im Mittelpunkt steht ein lokaler Software‑Stack, mit dem KI-Agenten direkt auf der Mac‑Hardware laufen, ohne Cloud‑Rechenleistung oder externe API‑Schlüssel. Die Basis bildet MLX, ein quelloffenes Array‑Framework von Apple, das speziell für den einheitlichen Speicher und die Hardwarebeschleunigung von Apple‑Silicon‑Chips entwickelt wurde.

Darauf aufbauend folgt MLX‑LM für das Laden und Feinabstimmen von Modellen, danach die Ebene des MLX‑LM‑Servers. Dieser Server stellt lokale Modelle über eine mit OpenAI kompatible HTTP‑Schnittstelle bereit. Apple beschreibt ihn als direkten Ersatz für cloudbasierte Sprachmodell‑Dienste. So können darüberliegende Agenten‑Frameworks wie OpenCode oder Xcode 27 mit lokal gehosteten Modellen über dasselbe Protokoll kommunizieren, das sonst bei Cloud‑Systemen genutzt wird.

Praktische Beispiele: Code, Apps und lokale Ausführung

In Demonstrationen zeigte Apple einen Agenten, der Pull Requests von GitHub abruft und Code‑Änderungen lokal zusammenfasst. Außerdem wurde ein Agent präsentiert, der eine funktionsfähige SwiftUI‑App von Grund auf erstellt, das Projekt kompiliert und unterwegs Fehler behebt, bis die Anwendung erfolgreich läuft.

Damit solche autonomen Abläufe funktionieren, brauchen sie viel Rechenleistung. Agenten verarbeiten Eingaben und Werkzeugaussgaben wiederholt, um den nächsten Schritt zu bestimmen. Um diese Last zu stemmen, hebt Apple hervor, dass der M5‑Chip über dedizierte neuronale Beschleuniger verfügt, die Matrixmultiplikationen viermal schneller ausführen als der M4. Das MLX‑Framework nutzt diese Hardware‑Vorteile und erreicht so eine ähnliche, vierfache Beschleunigung bei der Verarbeitung von Eingaben.

Die Software setzt außerdem auf kontinuierliche Batch‑Verarbeitung. Anfragen paralleler Unter‑Agenten werden dabei zusammengefasst und gleichzeitig auf der GPU bearbeitet, statt nacheinander in einer Warteschlange zu blockieren.

Verteilte Ausführung für sehr große Modelle

Für besonders große Modelle, die mehr einheitlichen Speicher benötigen, als ein einzelner Rechner bereitstellen kann, unterstützt MLX inzwischen verteilte Inferenz. Entwickler:innen können ein einzelnes großes Modell, etwa mit 1,6 Billionen Parametern und einem Bedarf von über 800 GB Arbeitsspeicher, auf mehrere Macs verteilen, die über Ethernet oder Thunderbolt verbunden sind.

Mit Thunderbolt‑RDMA für latenzarme Kommunikation demonstrierte Apple dabei eine bis zu dreifache Beschleunigung, wenn vier Maschinen zusammengeschaltet werden. Die Möglichkeit, leistungsfähige KI‑Modelle effizient lokal auszuführen, ist laut Apple ein wesentlicher Grund für die steigende Nachfrage nach Mac mini und Mac Studio. Verfügbarkeit und Preise für Mac‑Modelle lassen sich weiterhin mit dem Mac‑Preisverfolger von iClarified verfolgen.

Via: https://www.iClarified.com

Den Beitrag in unserem Forum kommentieren