Mit TurboFieldfare läuft ein 26-Milliarden-Parameter-Modell lokal auf Apple-Silicon-Macs mit nur 8 GB Arbeitsspeicher. Möglich wird das durch ein eigenes Swift- und Metal-Laufzeitsystem mit Streaming von SSD.
Gemma 4 mit 26 Milliarden Parametern auf 2 GB RAM
TurboFieldfare führt das instruktionstunte Modell Gemma 4 26B-A4B aus, ohne die kompletten rund 14,3 GB Modellgewichte in den Arbeitsspeicher zu laden. Stattdessen bleiben ein gemeinsamer Kern von 1,35 GB und ein FP16-KV-Cache im Speicher, während die jeweils benötigten Experten pro Token von der SSD nachgeladen werden. So läuft das Modell auch auf Macs mit 8 GB RAM.
Die Laufzeit, der Streaming-Installer, das Kommandozeilenwerkzeug und die native Mac-App sind vollständig in Swift und Metal umgesetzt. TurboFieldfare ist modellspezifisch und kein Wrapper um MLX oder llama.cpp. Ein kuratierter Versuchsbericht fasst 103 gemessene Ergebnisse zu Kerneln, Caching, Ein- und Ausgabe, Prefill und Dekodierung zusammen.
Zur Installation klont Ihr das GitHub-Repository, baut das Projekt im Release-Modus und startet die Mac-App. Beim ersten Start lädt der Swift-Paketmanager die nötigen Swift-Pakete für den Tokenizer. Das Release-Build enthält die Vordergrund-App und den zugehörigen Decode-Dienst.
In der App wählt Ihr anschließend „Download“, damit TurboFieldfare das festgelegte Modell (rund 15 GB Transfer) holt und in das eigene .gturbo-Format umpackt. Danach könnt Ihr das Modell laden, eine Eingabe formulieren und die Textgenerierung starten.
Technische Daten, Performance und Nutzung
TurboFieldfare nutzt das Gemma 4 26B-A4B-Instruktionsmodell mit insgesamt 26 Milliarden Parametern, von denen pro Token etwa 3,88 Milliarden aktiv sind. Die Gewichte liegen als MLX-Affine-4-Bit-Quantisierung mit Gruppen von 64 vor, ergänzt um einen 8-Bit-Router sowie 4-Bit-Gewichte für gemeinsame und geroutete Experten. Rund 2 GB Speicher reichen für Gewichte und einen 4K-KV-Cache, auf der SSD belegt das textbasierte Modell etwa 14,3 GB.
Vorausgesetzt wird ein Apple-Silicon-Mac mit mindestens 8 GB RAM, macOS 26 mit Metal 4, Xcode 26 und Swift 6.2 oder neuer sowie ausreichend freier Speicherplatz für die Modellinstallation. Die Paketarchitektur ist arm64-only, ältere macOS- und Metal-Versionen werden nicht unterstützt.
In Messungen erreicht ein 8 GB MacBook Air mit M2-Chip beim Dekodieren etwa 5,1 bis 6,3 Token pro Sekunde. Ein M5 Pro mit 24 GB RAM kommt auf rund 31 bis 35 Token pro Sekunde. Diese Werte dienen als Referenz, nicht als Obergrenze, da Eingabelänge, Ausgabelänge, Betriebssystem-Cache und Hardware die Durchsatzrate beeinflussen.
TurboFieldfare stellt eine Mac-App, eine Kommandozeilenschnittstelle und einen experimentellen lokalen Server mit OpenAI-kompatibler Chat-Vervollständigungs-API bereit. Alle greifen auf dasselbe .gturbo-Modellverzeichnis zu, allerdings sollte immer nur ein Modellprozess gleichzeitig laufen. Das Swift-Paket liefert sechs Produkte: Bibliothek mit Laufzeit und Metal-Kernen, Mac-App, Decode-Dienst, Kommandozeilenchat und -vervollständigung, lokalen Server sowie ein Streaming-Werkzeug zum Installieren und Prüfen des Modells.
Streaming-Installer, Prompting und Serverbetrieb
Die Mac-App behandelt Eure Eingaben als Anweisungen und übernimmt das Chat-Format von Gemma automatisch. Standardmäßig werden Temperatur 0,2, Top-K 64 und Top-P 0,95 verwendet. Mit Temperatur 0 erhaltet Ihr deterministische, aber nicht zwangsläufig fehlerfreie Ausgaben. TurboFieldfare arbeitet ausschließlich textbasiert, Bild-, Audio- oder Videofunktionen bietet das Projekt nicht.
Bei der ersten Installation prüft die App den verfügbaren Speicher und zeigt Download- und Installationsgröße an. Der Installer materialisiert nie das komplette Ausgangs-Checkpoint, sondern streamt die benötigten Bytebereiche aus einer festgelegten Hugging-Face-Revision direkt in das .gturbo-Format. Dadurch entfällt ein zweites vollständiges Checkpoint auf der SSD, und der Arbeitsspeicherverbrauch bleibt begrenzt. Nach der Überprüfung von Manifest und Dateihashes beansprucht die fertige Installation etwa 14,3 GB auf dem Datenträger, das Modell wird dabei noch nicht in den RAM geladen.
Für die Kommandozeile nutzt Ihr eine bereits vorhandene .gturbo-Installation oder installiert das Modell über das Repack-Werkzeug und könnt unterbrochene Downloads fortsetzen oder verwerfen. Die CLI unterstützt sowohl Instruktions-Chats auf Basis einer JSON-Nachrichtenliste als auch rohe Textvervollständigungen mit freier Kontrolle über maximale Tokens, Kontextlänge, Temperatur, Top-K, Top-P, Wiederholungsstrafe, Seed und Stoppsequenzen.
Der lokale OpenAI-kompatible Server wird separat gebaut und auf ein installiertes Modellverzeichnis verwiesen. Er lauscht auf http://127.0.0.1:8080/v1, unterstützt Chat-Vervollständigungen, Streaming, Funktionswerkzeuge und Wiederverwendung von Prompt-Präfixen. Da weder Authentifizierung noch TLS integriert sind, sollte der Server nur auf dem lokalen Rechner laufen.
Die Inferenz-Engine nutzt pro Transformer-Schicht Metal für Aufmerksamkeit und Routerberechnung, während die CPU anhand der Top-8-Expert:innen-IDs einen LFU-Cache mit 16 Plätzen verwaltet und fehlende Experten mit parallelen Leseaufrufen aus dem SSD-gestützten Speicher nachlädt. Prefill-Phasen werden in Blöcken von bis zu 128 Tokens verarbeitet, die Generierung erfolgt tokenweise. Der Installer folgt demselben Prinzip mit begrenztem Speicherverbrauch, indem er entfernte Bereiche direkt in das .gturbo-Layout überführt.
TurboFieldfare deckt aktuell ausschließlich Textinferenz mit dem festgelegten Gemma-4-26B-A4B-Instruktionscheckpoint auf Apple-Silicon-Macs ab. Geplant sind unter anderem iPhone- und iPad-Apps sowie weitere Benchmarks, etwa für den Mac mini mit M4-Chip und 16 GB RAM. Der Quelltext steht unter der Apache-Lizenz 2.0, die Modellgewichte werden separat von Hugging Face bezogen und unterliegen deren Bedingungen. Das Projekt ist unabhängig und steht in keiner Verbindung zu Google.
Via: https://github.com
