Mit macOS Tahoe 26.2 bringt Apple RDMA-Unterstützung über Thunderbolt 5 auf den Mac und öffnet damit neue Wege für KI‑Berechnungen im Cluster. Ein Praxistest mit vier Mac Studio zeigt, was das bringt.
macOS Tahoe, MLX und Thunderbolt‑5‑Cluster
Bereits im November hatte Apple angekündigt, dass macOS Tahoe 26.2 die Arbeit von KI‑Forscher:innen spürbar verändern soll. Im Fokus stand zunächst die Erweiterung des hauseigenen Machine-Learning-Frameworks MLX um GPU‑basierte neuronale Beschleuniger, doch zugleich hielt auch Thunderbolt‑5‑Clustering Einzug.
Jetzt liegen erste Ergebnisse aus der Praxis vor. Der YouTuber Jeff Geerling hat in einem Blogeintrag und einem Video seine Erfahrungen mit einem von Apple geliehenen Mac‑Studio‑Cluster dokumentiert. Die vier Rechner kosten zusammen knapp 40.000 US‑Dollar (rund 37.000 Euro) und dienen als Showcase für Thunderbolt 5 im Clusterbetrieb.
Alle Systeme setzen auf den M3 Ultra mit 32‑Kern‑CPU, 80‑Kern‑GPU und 32‑Kern‑Neural‑Engine. Zwei Geräte verfügen über 512 GB gemeinsamen Arbeitsspeicher und 8 TB Speicherplatz, die anderen beiden über 256 GB Arbeitsspeicher und 4 TB Speicher. In einem kompakten 10‑Zoll‑Rack laufen die vier Rechner laut Geerling fast flüsterleise und jeweils unter 250 W Leistungsaufnahme. Entscheidender ist aber die Kombination aus Thunderbolt 5 und gemeinsam genutztem Speicher.
RDMA: Gemeinsamer Speicher für riesige KI‑Modelle
Mit macOS Tahoe 26.2 erhält MLX einen neuen Treiber mit Thunderbolt‑5‑Support. Das beschleunigt die Verbindungen in kleineren Mac‑Clustern deutlich. Klassische Ethernet‑Cluster sind auf bis zu 10 Gbit/s begrenzt, sofern nicht mehrere Ports gebündelt werden. Forschende haben daher schon länger Thunderbolt genutzt, weil die Schnittstelle deutlich mehr Bandbreite bietet.
Mit Thunderbolt 4 lag das Maximum bei 40 Gbit/s, Thunderbolt 5 verdoppelt auf bis zu 80 Gbit/s. Besonders interessant wird das durch die Integration von RDMA (Remote Direct Memory Access). Dabei kann ein Knoten im Cluster direkt auf den Arbeitsspeicher eines anderen zugreifen und seinen eigenen Speicherpool um den der anderen Rechner erweitern.
Der Zugriff erfolgt weitgehend ohne zusätzliche CPU‑Last auf der Gegenseite. So greifen die Prozessoren effektiv auf den gesamten Speicher des Clusters zu. Im Fall von Geerlings vier Mac Studio stehen damit insgesamt 1,5 TB Arbeitsspeicher zur Verfügung. Durch die höhere Bandbreite von Thunderbolt 5 verbessert sich der Zugriff auf diesen gemeinsamen Speicher deutlich.
Für KI‑Forschende bedeutet das, dass sich sehr große Sprachmodelle nutzen lassen, die den theoretischen Speicherrahmen eines einzelnen Mac sprengen würden. Eine technische Grenze setzt allerdings Thunderbolt 5 selbst: Mangels Switch‑Lösung müssen die Macs in Reihe geschaltet werden, was die Anzahl der sinnvoll koppelbaren Geräte begrenzt, bevor die Latenz zum Problem wird.
Benchmarks, Grenzen und Ausblick
Geerling hat den Cluster mit Benchmarks vermessen. Nach dem Aktivieren von RDMA im Wiederherstellungsmodus kamen das Open-Source‑Tool Exo und Llama.cpp zum Einsatz. Exo unterstützt RDMA, Llama nicht, was den direkten Vergleich ermöglicht.
Mit Qwen3 235B erzielte ein einzelner Knoten mit Llama 20,4 Token pro Sekunde, Exo lag bei 19,5 Token pro Sekunde. Bei zwei Knoten fiel Llama auf 17,2 Token pro Sekunde, während Exo auf 26,2 Token pro Sekunde zulegte. Mit vier Knoten sank Llama weiter auf 15,2 Token pro Sekunde, Exo stieg auf 31,9 Token pro Sekunde.
Ähnliche Muster zeigten sich mit DeepSeek V3.1 671B: Exo verbesserte sich von 21,1 Token pro Sekunde auf einem Knoten auf 27,8 Token bei zwei und 32,5 Token bei vier Knoten. Auch bei einem Test mit dem Ein-Billionen-Parameter‑Modell Kimi K2 Thinking 1T A32B, von dem jeweils 32 Milliarden Parameter aktiv waren, zeigte sich der Effekt. Ein einzelner Mac Studio mit 512 GB kann dieses Modell nicht allein stemmen. Über zwei Knoten lieferte Llama 18,5 Token pro Sekunde, Exo kam dank RDMA auf 21,6 Token, bei vier Knoten auf 28,3 Token pro Sekunde.
Über alle Tests hinweg skaliert Exo mit RDMA deutlich besser, je mehr Knoten beteiligt sind. Für Teams, die mit großen KI‑Modellen arbeiten, zeigt der Aufbau, dass sich mit Thunderbolt 5 und RDMA viel Leistung aus einem Mac‑Cluster holen lässt. Die Kosten eines solchen Systems bleiben hoch, sind für Unternehmen mit starkem KI‑Fokus aber im Rahmen.
Geerling berichtet zugleich von Stabilitätsproblemen bei HPL‑Benchmarks über Thunderbolt und weiteren Bugs in der Vorabsoftware. Zudem äußert er Vorbehalte gegenüber dem vergleichsweise intransparenten Entwicklerteam hinter Exo, obwohl das Projekt Open Source ist.
Der Test nutzt den M3 Ultra, aktuell der schnellste Mac‑Chip mit Thunderbolt‑5‑Unterstützung. Spekuliert wird, dass ein zukünftiger M5 Ultra im Mac Studio mit GPU‑Neural‑Beschleunigern die KI‑Leistung weiter erhöhen könnte. Geerling regt außerdem an, Thunderbolt‑5‑Verbindungen auf SMB Direct auszuweiten, damit Netzwerkfreigaben sich nahezu wie direkt angeschlossene Laufwerke verhalten – was etwa für latenzkritische Videobearbeitung interessant wäre.
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenVia: https://appleinsider.com
Titelbild: Apple
