Apple und Meta bringen Muse Spark Open auf den Mac Studio

Meta hat gemeinsam mit Apple sein großes KI-Modell Muse Spark Open für den M5 Ultra Mac Studio angepasst. Entwickler:innen können es dadurch auf mehreren Macs lokal ausführen, statt auf Cloud-Server zurückzugreifen.

Das Modell verteilt sich auf mehrere Macs

Muse Spark Open wurde am 15. Oktober vorgestellt. Das Modell mit offenen Gewichten ist für Programmierung, Softwareentwicklung und mehrstufige Aufgaben ausgelegt. Es umfasst 816 Milliarden Parameter, von denen bei der Verarbeitung jeweils 42 Milliarden aktiv sind.

Für den Betrieb braucht es mindestens zwei M5 Ultra Mac Studios mit jeweils 512 GB gemeinsamem Arbeitsspeicher. Alternativ lässt es sich auf vier Geräten mit jeweils 256 GB ausführen. Diese Vier-Mac-Konfiguration ist bereits verfügbar. Die Option mit 512 GB soll Apple voraussichtlich erst Ende Oktober ausliefern.

Die Zusammenarbeit nutzt Apples Unified-Memory-Architektur: CPU und GPU greifen dabei auf denselben Speicherpool zu. Der M5 Ultra bietet bis zu 512 GB gemeinsamen Arbeitsspeicher und eine Speicherbandbreite von 1,2 TB/s. Für Muse Spark Open reicht selbst das nicht auf einem einzelnen Gerät. Laut Apple belegen die komprimierten Modellgewichte rund 493 GB, noch ohne den zusätzlichen Speicherbedarf während der Verarbeitung.

Das Open-Source-Framework MLX verteilt die Arbeit auf mehrere Macs. Die Geräte kommunizieren über Thunderbolt 5 und Remote Direct Memory Access (RDMA), wodurch sie Daten mit weniger Beteiligung der CPU austauschen können. Apple hat MLX für Muse Spark Open erweitert: Das Framework verbessert die Kommunikation zwischen verbundenen Macs und unterstützt die GPU Neural Accelerators des M5 Ultra. Es kann das Modell auf mehrere Computer aufteilen oder Berechnungen verteilen, um die Verarbeitung zu beschleunigen.

Demonstrationen zeigen lokale Arbeitsabläufe

In Apples Messungen erzeugten vier M5 Ultra Mac Studios mit einem Kontext von 8.192 Tokens mehr als 36 Tokens pro Sekunde. Die tatsächliche Geschwindigkeit hängt laut Bericht von der jeweiligen Aufgabe und der Kontextlänge ab.

Meta demonstrierte Muse Spark Open bei mehreren komplexen Aufgaben. Mit dem Entwicklungstool Muse Code änderte das Modell den quelloffenen Mastodon-Client Ice Cubes für iOS: Es behob Fehler, ergänzte Funktionen und erstellte einen Build. In einer weiteren Vorführung analysierte Muse Spark Open Videomaterial in DaVinci Resolve, fand geeignete Abschnitte und schnitt daraus Hochkantclips. Die Beispiele belegen konkrete Anwendungen, sagen aber nicht aus, wie zuverlässig das Modell bei anderen Arbeitsabläufen arbeitet.

Hohe Hardwarekosten und eigene Lizenz

Der M5 Ultra Mac Studio kostet ab 5.499 US-Dollar. Die für Muse Spark Open benötigten Speicherausstattungen treiben den Preis eines Systems aus mehreren Geräten jedoch auf mehrere Zehntausend Dollar. Damit richtet sich die lokale Nutzung eher an professionelle Entwicklung und Forschung als an gelegentlichen Einsatz. Wer das Modell nur ab und zu benötigt, kann auf gehostete Dienste ausweichen; häufige Nutzung kann Cloud-Gebühren vermeiden.

Apple und Meta waren in der Vergangenheit wegen Datenschutz, Werbebeschränkungen und Kontrolle über Plattformen aneinandergeraten. Bei der Ausführung fortgeschrittener KI-Modelle auf Apple-Hardware stimmen ihre Interessen nun überein: Apple zeigt die KI-Fähigkeiten des Mac Studio, Meta erhält eine Möglichkeit, Modelle ohne Cloud-Infrastruktur oder spezielle GPU-Server zu betreiben.

Muse Spark Open steht über Hugging Face bereit und unterstützt auch Hardware von AMD, Intel und Nvidia. Wer nicht über die nötige Ausstattung verfügt, kann das Modell über gehostete API-Anbieter nutzen. Die offenen Gewichte bedeuten allerdings keine uneingeschränkte Nutzung: Meta stellt das Modell unter einer eigenen Lizenz bereit, die viele kostenfreie Anwendungen erlaubt, aber kommerzielle Einschränkungen enthält.

Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.

Via: appleinsider.com

Den Beitrag in unserem Forum kommentieren