• Apfeltalk ändert einen Teil seiner Allgemeinen Geschäftsbedingungen (AGB), das Löschen von Useraccounts betreffend.
    Näheres könnt Ihr hier nachlesen: AGB-Änderung
  • Die Bildungsoffensive hier im Forum geht weiter! Jetzt sollen Kreativität und technische Möglichkeiten einen neue Dimension erreichen. Das Thema in diesem Monat lautet - Verkehrte Welt - Hier geht es lang --> Klick

NVIDIA DGX Spark

jensche

Grünapfel
Registriert
27.10.04
Beiträge
7.111
Ich war (und bin) ein Fan von Apples M‑Chips – gerade was Effizienz und Leistung pro Watt angeht, hat Apple mit der M-Serie neue Standards gesetzt. Aber was NVIDIA jetzt mit dem DGX Spark bringt, ist eine echte Ansage im KI-Bereich.

Der Spark ist kleiner als ein Mac Studio, kostet etwa die Hälfte – und liefert mit über 1.000 TOPS (FP4) an KI-Rechenleistung bei nur 170 W Verbrauch eine neue Dimension. Zum Vergleich: Der Spark liefert rund 30–40‑mal mehr KI-Leistung – und das bei etwa halb so viel Stromverbrauch wie ein Mac Studio mit M3 Ultra. – zudem sieht der Spark auch noch Schick aus.

dgx-spark.b8400a71.jpg

Ich will hier nicht Apple schlechtreden – deren Systeme sind top für Kreative, Entwickler und On‑Device‑AI. Aber wenn es um ernsthafte LLM-Inferenz, Fine-Tuning oder skalierbare KI-Infrastruktur geht, ist Apple derzeit schlicht nicht relevant. Kein CUDA, keine Tensor-Kerne, keine Cluster-Optionen, kein echtes Machine-Learning-Ökosystem.

Noch beeindruckender wird’s, wenn man sich NVIDIAs aktuelle Serverlösungen anschaut:
Ein einziger Rackeinschub mit dem neuen Grace Blackwell Ultra GB200 NVL72 bringt 40 PFLOPS AI-Leistung – mehr als der komplette Sierra-Supercomputer von 2018, der damals noch dutzende Racks brauchte.

NVIDIA-CEO Jensen Huang formulierte es so:
„Wir verbessern unsere AI-Rechenleistung etwa um den Faktor 1 Million – alle 10 Jahre.“

Und wenn man sich die Entwicklung von 2013 bis heute anschaut, ist das keine Übertreibung, sondern Realität.

Was NVIDIA da aktuell liefert, ist nicht nur schneller – es ist skalierbar, effizient, offen und zukunftsweisend. Wer heute ernsthaft mit KI arbeiten will, kommt an NVIDIA nicht vorbei.

Ich hoffe nur, dass Apple diesen Leistungsschub nicht auch noch verschläft. (auch wenn es nicht Ganz Apples Bereich ist so sie positioniert sind)

NVIDIA-DGX-Spark-2-Node-Cluster-Front-Angle-1-800x491.jpg

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.
 
Ich habe keine Ahnung, was Nvidia damit will. Und irgendwelchen Leistungsangaben von Nvidia ist schlichtweg nicht mehr zu trauen. Und was bitte soll den KI-Leistung sein? Mein Bullshit-Detektor schlägt aus :(

Auf ihrer Webseite geben sie eine Speicherbandbreite von 273 GB/s an. Die ist für Inferenz, die du ja ansprichst, entscheidend. Das ist nicht besonders viel. Exakt so viel wie beim Mac mini Pro. Wenn du an LLMs interessiert bist, dürfte das für Modelle bis vielleicht 24B für einfache Rede/Antwort Chat-Anfragen ausreichen.
Daher mein Kommentar, dass ich nicht verstehe, wen Nvidia damit erreichen will.
Je nachdem, was er für Rechenleistung zeigt, kann das Prompt Processing natürlich schneller sein, was es dann für Programmierer oder RAG interessanter macht. Aber einen großen Wurf sehe ich hier nicht.
 
Ich habe keine Ahnung, was Nvidia damit will. Und irgendwelchen Leistungsangaben von Nvidia ist schlichtweg nicht mehr zu trauen.
Und wieso nicht? Bzw. wieso nicht mehr? Was ist vorgefallen, dass das Vertrauen weg ist?
Und was bitte soll den KI-Leistung sein? Mein Bullshit-Detektor schlägt aus :(
Die Leistung, die speziell für KI-Anwendungen bzw. die Rechner auf denen verschiedene LLM laufen? Was soll da vom Bullshit-Detektor erkannt werden?
 
Exakt so viel wie beim Mac mini Pro. Wenn du an LLMs interessiert bist, dürfte das für Modelle bis vielleicht 24B für einfache Rede/Antwort Chat-Anfragen ausreichen.
Ja… für extrem einfache LLM-Chats reicht das vielleicht noch.
Aber sobald es um grössere lokale Modelle geht, wirken selbst TB5-gekoppelte Apple-Systeme fast schon peinlich limitiert.

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Klar – ein Vergleich zwischen Apples Consumer-Hardware und einem speziell für KI optimierten System wie dem NVIDIA DGX Spark ist vielleicht nicht ganz fair.

Aber rein technisch gesprochen:
Der Apple M3 Ultra schafft etwa 34 TOPS, während der Spark auf rund 1.000 TOPS kommt.
Das ist ein Faktor 30 – bei halbem Stromverbrauch.

Wenn sich die angekündigte Leistung in der Praxis bestätigt – selbst nur zur Hälfte – dann muss man sagen: Apple hat im Bereich KI-Compute schlichtweg nicht mitgehalten.
 
Wollen sie das denn? Ist das ihr Ziel?
Es geht ja nicht um das... Nividia bringt 35fache Leistung mit halb so viel Wattleistung als der M3 Ultra. Ergo Apples Chips sind zwar superschnell, aber irgendwie nicht mal mittelmässig und eher schlecht. – Nividia zeigt gerade der Welt was technisch möglich ist...

Und Apple will ja immer bester in Leistungsaufnahme sein.
 
Und wieso nicht? Bzw. wieso nicht mehr? Was ist vorgefallen, dass das Vertrauen weg ist?
Der Launch der 5xxx-er Serie, insbesondere der Benchmarks der 5090.

Die Leistung, die speziell für KI-Anwendungen bzw. die Rechner auf denen verschiedene LLM laufen? Was soll da vom Bullshit-Detektor erkannt werden?
Welche ganz spezielle Leistung soll denn das sein und wodurch unterscheidet die sich die von nicht-KI Leistung?
Und selbst wenn man einfach nur annimmt, dass es sich um irgendeine Form der Rechenleistung handelt, was soll die bringen bei der niedrigen Speicherbandbreite? Effizienteres Warten auf die Ergebnisse? Fragen über Fragen....
 
Logisch, der vergleich hinkt etwas: Consumer Chip mit AI Spezial Chip. Aber trotzdem...
 
Was ist vorgefallen, dass das Vertrauen weg ist?
Was mir da sofort einfallen würde, 12v HPWR Stecker. Die schmelzen ihnen der reihe nach weg, weil sie zu schwach dimensioniert wurden, war schon bei der 40er Serie ein problem, und bei der 50er Serie haben sie es nochmals verschlimmert von der technischen ausführung, statt verbessert. Kein pin Sensing, nichts drin. Es wird nur der gesamtstrom über alle 6 Leitungen gemessen. Da können einzelne Adern quasi ausfallen, und damit andere komplett überbelastet sein. Dadurch werden die ja über 100 Grad teils heiss. Und fangen irgendwann zu kokeln an.