Ein Entwickler hat die Software-Beschränkungen der Neural Engine im Apple M4 umgangen und ermöglicht damit KI-Training direkt auf dem Chip. So werden bislang versteckte Rechenreserven nutzbar.
Neural Engine offiziell nur für fertige KI-Modelle gedacht
Die Neural Engine in Apple-Chips wie dem M4 ist offiziell nur für die Ausführung bereits trainierter KI-Modelle vorgesehen. Entwickler:innen können damit Inferenz berechnen, also vortrainierte Modelle nutzen, aber keine neuen Modelle trainieren. Ein:e Entwickler:in hat diese Einschränkung nun offenbar umgangen, indem die System-on-a-Chip-Architektur per Reverse Engineering analysiert und die Software-Limits überschritten wurden. Die komplette Verarbeitung bleibt dabei im Arbeitsspeicher, was für einen sehr flüssigen und schnellen Ablauf sorgen soll.
Apple stellt laut dem Bericht keine offiziellen Berechtigungsstufen bereit, um direkt mit der Neural Engine zu kommunizieren. Statt über Apples Werkzeuge wie CoreML, Metal oder die GPU zu gehen, erfolgt der Zugriff daher über einen eigenen Ansatz. Auf X hat der Account @0x0SojalSec Quellcode in einem GitHub-Repository veröffentlicht, der zeigt, wie sich die volle Leistung des M4 nutzen lässt. Grundlage ist eine eigens entwickelte Modell-Zwischensprache (Model Intermediate Language), die komplett von Grund auf neu geschrieben wurde.
Sie sehen gerade einen Platzhalterinhalt von Standard. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf den Button unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Eigenes Zwischenformat und Tricks für das KI-Training
Weil die Hardware streng abgeschirmt ist, waren zusätzliche technische Kniffe nötig. Wenn sich der Prozess beim Training aufhängt und ein Neustart erforderlich ist, setzt die eigens entwickelte Zwischensprache auf den Befehl „exec()“. Damit kann der Prozess quasi neu gestartet werden, um das Training fortzusetzen. Auf diese Weise wird der aktuelle Zustand des Programms aufgefrischt, ohne dass die Anwendung abstürzt oder komplett beendet werden muss.
Um die Geschwindigkeit weiter zu erhöhen, wird beim Entsperren des M4 laut @0x0SojalSec vollständig auf Schreibzugriffe in den NAND-Flash-Speicher verzichtet. Stattdessen laufen alle Schreiboperationen im Arbeitsspeicher, was deutlich schneller ist. Durch das Umgehen der Software-Beschränkungen erreicht der M4 in iPad oder Mac eine KI-Rechenleistung von bis zu 15,8 Billionen Gleitkommaoperationen pro Sekunde (TFLOPS). Diese Leistung reicht demnach aus, um ein KI-Modell zu trainieren, ohne in einen teuren Computer oder eine kostspielige NVIDIA-Grafikkarte investieren zu müssen.
Fragen zur Übertragbarkeit auf den M5
Die gezeigte Umsetzung basiert auf dem M4-Chip, der in aktuellen iPads und Macs steckt. Spannend bleibt die Frage, welches Leistungsniveau sich auf dem M5 freischalten ließe. Dazu liegen derzeit jedoch keine gesicherten Informationen vor. Unklar ist insbesondere, ob sich die gleiche Modell-Zwischensprache auf den neueren Apple-Silicon-Chips einsetzen lässt und ob sich der „exec()“-Ansatz dort identisch verhält.
Derzeit lässt sich nicht bestätigen, ob der vorgestellte Code ohne Anpassungen auf dem M5 funktioniert. Die Veröffentlichung zeigt jedoch, welches Potenzial in der Neural Engine des M4 steckt, wenn die bisherigen Software-Grenzen fallen. Wer den Ansatz selbst ausprobieren möchte, findet den Code über den verlinkten GitHub-Eintrag von @0x0SojalSec. Rückmeldungen und Erfahrungen mit dem Ansatz könnten weitere Hinweise auf die Praxistauglichkeit liefern.
Via: https://wccftech.com
