- Registriert
- 15.06.24
- Beiträge
- 34.209
Mit TurboFieldfare wird es möglich, ein 26-Milliarden-Parameter-Modell lokal auf Apple-Silicon-Macs mit nur 8 GB Arbeitsspeicher auszuführen. Dies wird durch ein innovatives Laufzeitsystem erreicht, das auf Swift und Metal basiert und die Daten effizient von der SSD streamt.
- TurboFieldfare ermöglicht die Ausführung des Gemma 4 26B-A4B-Modells ohne vollständige Modellgewichte im RAM.
- Die Installation erfolgt über ein GitHub-Repository und benötigt Swift-Pakete, die automatisch heruntergeladen werden.
- Die Anwendung erreicht beim Dekodieren auf einem M2-MacBook Air eine Geschwindigkeit von 5,1 bis 6,3 Token pro Sekunde.
- Der lokale OpenAI-kompatible Server unterstützt Chat-Vervollständigungen, läuft jedoch nur auf dem lokalen Rechner ohne Authentifizierung.
- Geplante Erweiterungen umfassen iPhone- und iPad-Apps sowie Benchmarks für weitere Apple-Hardware.
Was haltet Ihr von der Performance und den Möglichkeiten von TurboFieldfare? Welche Anwendungen seht Ihr für das Modell? Diskutiert mit uns und teilt Eure Gedanken!
Klick hier, um den vollständigen Beitrag im Magazin zu lesen
Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.