• Es ist bereits Apfeltalk-Tradition und wir möchten sie auch in diesem Jahr fortsetzen: Unser Apfeltalk-Weihnachtslogo-Wettbewerb hat begonnen! Gestaltet für uns das Weihnachtsbanner, das im Monat Dezember bis zum Weihnachtsfest unsere Webseite schmücken soll. Lasst Eurer Kreativität freien Lauf! Hier geht es zum Wettbewerb --> Klick
  • November - das bedeutet oftmals Herbstblues, grauer Himmel, Tristesse und Wetter, bei dem man gern im Warmen bleibt. Aber nur oftmals! Wir fordern Euch gern auf, gegen den Herbstblues anzukämpfen und hoffen, dabei hilft Euch unser aktuelles Monatsthema. Neugierig geworden? --> Zum Mitmachen bitte hier klicken

Thunderbolt‑5‑Cluster: RDMA macht KI-Berechnungen auf dem Mac deutlich schneller

Apfeltalk Redaktion

Redakteur
AT Redaktion
Registriert
15.06.24
Beiträge
34.262
IMG_1558.jpeg


Apple hat mit macOS Tahoe 26.2 die RDMA-Unterstützung über Thunderbolt 5 eingeführt, was neue Möglichkeiten für KI-Berechnungen eröffnet. Ein Praxistest von Jeff Geerling mit einem Cluster aus vier Mac Studios zeigt die Vorteile dieser Technologie, die eine hohe Bandbreite und effizienten Zugriff auf gemeinsam genutzten Speicher ermöglicht. Trotz der hohen Kosten von rund 40.000 US-Dollar für das Setup profitieren KI-Forscher von der Leistungssteigerung bei der Nutzung großer Modelle.

Die Tests zeigen, dass die Nutzung von RDMA die Effizienz bei der Verarbeitung von KI-Modellen erheblich steigert, während sich Stabilitätsprobleme und Bugs in der Vorabsoftware bemerkbar machen. Geerling schlägt zudem vor, die Thunderbolt-5-Verbindungen auf SMB Direct zu erweitern, um die Leistung in latenzkritischen Anwendungen zu verbessern. Diskutiert in den Kommentaren: Welche Erfahrungen habt ihr mit der Nutzung von Thunderbolt 5 und RDMA gemacht?

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Klick hier, um den vollständigen Beitrag im Magazin zu lesen

Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.
 
Im MacPro kann man 100GbE Karten von Atto nutzen, d.h. man war bisher in Mac Clustern nicht auf 10GbE beschränkt. Dazu gab/gibt es die Möglichkeit externe 25GbE Thunderbolt Adapter von Atto an nahezu jedem Mac zu nutzen. Der Vorteil davon ist, dass man so viele MacStudios/MacPros verclustern kann. Voraussetzung ist ein passender Ethernet Switch.

Allerdings ist das alles relativ langsam. Die kleine nVidia Entwickler Kiste DGX Spark hat zwei 200Gbps Ports. Fürs verclustern nimmt man da Infiniband und den dazu passenden IB-Switch.
 
ct3003 hatte zu KI Berechnung und Apple vs Nvidia vs AMD auch ein neues Video gemacht. bei Großen Modellen (die über die 16/24GB von Desktop Grafikkarten gehen) spielt Apple seine stärken durch den Unified Memory aus. Darunter ist halt der Grafikkarten Ram schneller,...

Einen Cluster will er demnächst wohl auch noch testen.
 
Bei nVidia gibt es für den Desktop maximal 32GB (Geforce) bzw. 96GB (RTX Pro). Der MacStudio mit M4Max erlaubt maximal 96GB für GPU Nutzung von 128GB. Dafür ist der MacStudio mit M4Max mit 128GB halb so teuer wie eine RTX Pro 6000 (ca. €9k), die hat dafür ungefähr den dreifachen Speicherdurchsatz ca. 1,8TB/s im Gegensatz zu 546GB/s.

Der MacStudio M3Ultra hat mit max 512GB RAM einen deutlichen Vorteil bei der Speichergröße, wird aber auch richtig teuer, und verfügt nur über etwas weniger als den halben Speicherdurchsatz (ca. 820GB/s) einer RTX Pro 6000. (Man sieht hier den Unterschied zwischen der M3 und M4 Generation. Wäre es ein M4Ultra wäre die Grenze von 1TB/s gefallen.)

Bei nVidia wird es oberhalb der RTX Pro 6000 schnell richtig teuer. Die H200 NVL mit 141 GB HBM3 Speicher (ca. €30k) bei 4,8TB/s Durchsatz ist eine Server PCIe Karte, die man per NVLink Brücken (ca. 0,9TB/s Geschwindigkeit zwischen den Karten) verbinden kann. So kann man entweder 1, 2 oder 4 Karten betreiben, deren Speicher dann zusammen betrieben wird. Da die PCIe Slots bei Speichertransfers zwischen den Knoten mitgenutzt werden, schafft so ein System 1TB/s zwischen den Karten.

Der begrenzende Faktor für die Rechenleistung in einem Cluster ist die Latenz zwischen den Knoten. Apple hat hier mit RDMA über Thunderbolt aus eigener Sicht einen großen Schritt gemacht. Aber in der Welt von HPC und KI ist das ein alter Hut. nVidia ist gerade dabei die 800Gbps Infiniband Generation auf den Markt zu bringen.
 
welchen Unterschied meinst du? wegen der Speicherbandbreite?
Die Speicherbandbreite verdoppelt sich ungefähr wenn man von M4, M4Max zu einem M4Pro geht. Es sind ca. 120GB/s, 270GB/s und 540GB/s. Bei einem M4 Ultra wären >1TB/s möglich. Da der M3 älter ist, hat er noch einen älteren Speichercontroller, so dass auch die Ultra Version langsamer ist.

Wenn Apple wirklich im KI Hype mitschwimmen will, müssen sie zeitnah einen Mac mit schellen Netzwerkinterface auf den Markt bringen. Thunderbolt ist nett, lässt sich aber nicht switchen. Da man mit nVidia auf Kriegsfuß steht, müsste Apple sich dann bei Broadcom oder Intel umschauen und nur normales Ethernet (gibt es bis 800GbE) verbauen.
 
  • Like
Reaktionen: voyager
In dem Zusammenhang könnte interessant sein, dass in macOS 26.2 neue, aber undokumentierte Dienstprogramme hinzugekommen sind, um den Zustand angeschlossener InfiniBand-Geräte anzuzeigen. Entsprechende Gerätetreiber scheinen aber (noch) zu fehlen …
 
Infiniband heißt aktuell nVidia. Gibt es irgend welche Hinweise auf ibverbs im System?
 
1) Apple muss nicht mit Datacentern konkurrieren – genau hier liegt der Hebel
Apple greift Nvidia nicht im Datacenter an, und das ist bewusst so gewählt. Zielgruppe sind Consumer, Prosumer, Researcher, Indie-ML-Teams, Startups sowie On-device-, Private- und Edge-AI-Anwendungen mit lokalen LLMs. In diesem Umfeld zählen Preis, Einfachheit, lokale Datenhaltung und sofort nutzbare Leistung mehr als maximale Skalierung. Die Kombination aus Unified Memory, MLX, macOS 26.2 mit RDMA und Thunderbolt 5 ist deshalb plötzlich extrem stark, weil man für den Preis einer RTX Pro oder H200 mehr nutzbaren Speicher, weniger Komplexität und sofort einsatzfähige Performance bekommt. Das ist kein HPC-Angriff von oben, sondern eine Disruption von unten.

2) Warum MLX und macOS 26.2 im Consumer-Markt ein echter Gamechanger sind
Der Gamechanger sind nicht absolute FLOPS, sondern der Paradigmenwechsel von VRAM zu RAM. Nvidia zwingt dazu, Modelle klein zu halten oder sehr teure GPUs zu kaufen, während Apple sagt: nimm 128 bis 512 GB Unified Memory und lade einfach das Modell. Für viele reale LLM-Workloads ist nutzbarer Speicher wichtiger als maximale Bandbreite. MLX nutzt diese Architektur konsequent aus, vermeidet Kopier-Overhead zwischen CPU und GPU und lässt Modelle effizient dort laufen, wo sie liegen.

3) RDMA ohne Datacenter-Hürden ist der eigentliche Durchbruch
Apple geht einen fundamental anderen Weg als klassische HPC-Stacks. Es braucht kein CUDA, kein NCCL-Setup, keine Infiniband-Fabric und kein Kernel-Tuning. Kabel einstecken, RDMA ist im Betriebssystem vorhanden und MLX nutzt es automatisch. Diese extrem niedrige Einstiegshürde ist entscheidend, denn sie macht verteilte KI erstmals für Consumer und Prosumer realistisch nutzbar, nicht nur für spezialisierte Datacenter-Teams.

4) 2–4 Nodes sind bewusst die Zielgrösse
Apple weiss sehr genau, dass 80 bis 90 Prozent aller lokalen KI-Use-Cases mit ein bis zwei Maschinen abgedeckt sind und maximal vier Nodes benötigen. Für diese Grössenordnung ist Thunderbolt-RDMA ideal: sehr niedrige Latenz, hoher Durchsatz, keine Switches und kaum Overhead. Apple optimiert nicht für 32 oder 64 Nodes, sondern für das Szenario: ich habe zwei bis vier Macs und will jetzt ein grosses Modell lokal ausführen.

5) Der Engpass ist real: Thunderbolt skaliert nicht
Mehr als vier Mac Studios lassen sich praktisch nicht sinnvoll verbinden, weil Thunderbolt ein Punkt-zu-Punkt-Interconnect ohne Switch-Fabric und Routing ist. Die notwendige Vollvermaschung skaliert physikalisch nicht: zwei Nodes brauchen ein Kabel, vier Nodes sechs Kabel, acht Nodes sind praktisch unmöglich. Das ist kein Bug, sondern eine architektonische Grenze von Thunderbolt und lässt sich nicht durch schnellere Chips oder Software beheben.

6) Was Apple realistisch tun muss – und vermutlich tun wird
Wenn Apple über vier Nodes hinaus skalieren will, führt kein Weg an einem switchbaren Hochgeschwindigkeitsnetzwerk vorbei. Der realistischste Schritt ist Ethernet mit 100 bis 200 GbE und RDMA (RoCE v2) auf Basis von Standard-Technologie von Broadcom oder Intel. Ein komplett eigener Netzwerkstandard würde wenig Sinn machen, da er teuer, isolierend und schwer zu etablieren wäre. Deutlich stimmiger wäre ein Apple-definiertes Profil auf Standard-Ethernet, bei dem der Mehrwert in der tiefen OS- und MLX-Integration liegt: RDMA ohne manuelles Setup, automatische Optimierung und sichere Defaults. So könnte Apple seine Stärken im lokalen KI-Bereich behalten und die Skalierungsgrenze verschieben. Gleichzeitig würde ab diesen Netzwerkgeschwindigkeiten das Storage wieder zum limitierenden Faktor, da selbst sehr schnelle NVMe-SSDs den Datendurchsatz nicht dauerhaft mitgehen können. Der Sweet Spot bleibt bis dahin klar: bis vier Nodes ist Apple extrem stark, darüber braucht es ein echtes Netzwerk – und ein ausgewogenes Storage-Design.

7) Was mit M5 realistisch wäre – und was extrem krass wäre
Realistisch für M5 ist, dass Apple diesen Weg konsequent weitergeht: höhere Speicherbandbreite, effizientere ML-Beschleuniger, tiefere RDMA-Integration in macOS und MLX sowie erstmals 100 GbE, eventuell 200 GbE, als Option im Mac Pro oder einem KI-orientierten Desktop. Das würde die 4-Node-Grenze nicht aufheben, aber deutlich grössere Modelle pro Node erlauben und hybride Setups ermöglichen, bei denen Thunderbolt-RDMA für niedrige Latenz und Ethernet-RDMA für Skalierung eingesetzt wird.

Extrem krass wäre hingegen ein direkt in den M5 integriertes, switchbares Hochgeschwindigkeits-Network-Fabric mit RDMA, das ohne Zusatzkarten echte 8–16-Node-Cluster erlaubt. Damit würden Macs funktional in einen heute klar servertypischen Bereich vorstossen. Technisch denkbar, strategisch jedoch ein sehr grosser Schritt – und deshalb eher Vision als realistische Erwartung.

Fazit

Apple verfolgt im KI-Bereich bewusst eine andere Strategie als Nvidia und die klassischen Datacenter-Anbieter – und genau darin liegt die Stärke. Statt maximale Skalierung und rohe FLOPS in den Vordergrund zu stellen, optimiert Apple für lokale KI: viel nutzbarer Speicher, minimale Latenz, einfache Nutzung und niedrige Einstiegshürden. MLX, Unified Memory und RDMA in macOS 26.2 machen grosse Modelle dort praktikabel, wo sie real genutzt werden: bei Consumer-, Prosumer- und Research-Workloads mit ein bis vier Nodes. Die technische Grenze von Thunderbolt ist bekannt und akzeptiert, und der nächste logische Schritt wäre standardbasiertes Ethernet mit RDMA, nicht ein proprietärer oder datacenterlastiger Ansatz. Mit M5 kann Apple diesen Weg weiter festigen und ausbauen, ohne seine Positionierung aufzugeben. Apple muss Nvidia nicht schlagen – Apple gewinnt, indem es KI lokal einfacher, günstiger und zugänglicher macht.


Infiniband heißt aktuell nVidia. Gibt es irgend welche Hinweise auf ibverbs im System?
Apple wird den InfiniBand-Weg nicht gehen, weil er ein Nvidia-dominiertes, komplexes Datacenter-Ökosystem voraussetzt, das nicht zu Apples Zielmarkt passt. InfiniBand ist teuer, spezialisiert und stark an ibverbs und Linux-HPC gebunden – genau diese Abhängigkeiten vermeidet Apple bewusst. Stattdessen setzt Apple auf Standard-Technologien wie RDMA über Thunderbolt und perspektivisch Ethernet, kombiniert mit tiefer Integration in macOS, MLX und Unified Memory.

Damit steht Apple strategisch besser da: nicht durch maximale Fabric-Geschwindigkeit, sondern durch einfache, lokale und sofort nutzbare KI-Performance. Apple gewinnt, indem es ausreichend schnelles Networking so integriert, dass es ohne Spezialwissen funktioniert – skaliert für Consumer und Prosumer und bleibt unabhängig von Nvidia.