ChatGPT-ähnliche KI lokal am Mac nutzen: OpenAI bringt neue Offline-Modelle

[Apfeltalk Redaktion]

OpenAI hat am 5. August 2025 zwei neue Sprachmodelle, gpt-oss-20b und gpt-oss-120b, mit offenen Gewichten veröffentlicht, die erstmals seit 2019 wieder öffentlich verfügbar sind. Diese Modelle stehen unter der Apache-2.0-Lizenz, ermöglichen kostenlose kommerzielle Nutzung und Anpassungen und reagieren auf den Druck der Open-Source-Community. Das kleinere gpt-oss-20b ist optimal für leistungsstarke Apple Silicon Macs geeignet, während das größere gpt-oss-120b für spezialisierte Hardware gedacht ist.

Die neuen Modelle bieten moderne KI-Funktionen und ermöglichen Entwicklern, eigene Tools offline zu erstellen, was Datenschutz und lokale KI-Anwendungen fördert. OpenAI hat Tools und Unterstützung bereitgestellt, um den Einstieg zu erleichtern, und das 20b-Modell nutzt eine 4-Bit-Komprimierung zur Effizienzsteigerung. Diese Entwicklungen zeigen einen klaren Trend hin zu mehr Offenheit und Zugänglichkeit in der KI-Nutzung – besonders für Mac-Nutzer:innen. Was haltet ihr von den neuen Möglichkeiten der lokalen KI-Nutzung? Lasst uns darüber diskutieren!

Klick hier, um den vollständigen Beitrag im Magazin zu lesen

Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.

 

[SORAR]

Das gpt-oss-20b Modell benötigt mindestens 16 Gigabyte gemeinsamen Speichers oder VRAM und ist damit gut auf leistungsstarken Apple Silicon Macs wie dem M2 Pro oder M3 Max lauffähig. OpenAI hebt die Unterstützung von Apple Silicon explizit als wichtigsten Anwendungsfall für das 20b-Modell hervor. Für das größere gpt-oss-120b empfiehlt OpenAI jedoch 60 bis 80 Gigabyte Arbeitsspeicher. Dieses Modell ist daher eher für leistungsstarke GPU-Workstations oder Cloud-Umgebungen geeignet und für herkömmliche Macs nicht praktikabel.

Das dürfte man ruhig etwas genauer präzisieren. Mit 16GB würde es auch auf einem M4 (Pro) mit 24GB lauffähig sein, von einer langsameren it/s Geschwindigkeit mal abgesehen, braucht es dafür nicht zwingend einen Max Chip. Und "60 bis 80GB" ist auch recht ungenau. Genügen dafür bereits ein 64GB memory oder nicht, ggf. inkl inklusive sudo sysctl iogpu.wired_limit_mb command? Effektiv kann man 56-58GB rein für den VRAM reservieren, ohne dass das Restsystem instabil wird. Das ist immer noch weitaus mehr als jede nVidia Consumer-Karte, inklusive 4090/5090.

Was haltet ihr von den neuen Möglichkeiten der lokalen KI-Nutzung?

Als jemand der bereits Stable Diffusion mit SDXL Modellen auf dem M1 Max verwendet (eher langsam als schnell, sonst aber echt spaßig) bietet das tatsächlich viel Potenzial. Man braucht lediglich das passende Modell, ausreichend VRAM und gute Ideen. Und der Stromverbrauch hält sich, zumindest bei den M-Chips, noch halbwegs in Grenzen. Mit weiteren Optimieren (Pytorch/CoreML) sehe ich noch einiges an Möglichkeiten.

Lasst uns darüber diskutieren!

"Uns" bei einem KI-generierten Magazinbeitrag... *schmunzel* Nungut. Dann lasst uns mal quatschen.

 

[Michael Reimann]

Ollama bietet beide Modelle (nach Update) an. Ebenso LM-Studio. Bei LM-Studio hat man den Vorteil, dass gleich eine Art Benchmark ausgegeben wird. Ollama bietet im Zusammenspiel mit open-webui die Möglichkeit das LLM im lokalen Netz für Nutzer als Weboberfläche bereitzustellen.

Beides habe ich im Moment auf meinem Mac Studio M1 Ultra mit 128 GB Ram installiert und es läuft gut. Genauere Werte liefere ich noch nach.

Teste auch gerade Mac Whisper damit.

 

[voyager]

schnell mal downloaden und testen mit LM Studio