Ollama beschleunigt KI-Modelle auf dem Mac mit Apples MLX

Die KI-App Ollama nutzt ab sofort Apples eigenes MLX-Framework und läuft damit deutlich schneller auf Macs mit Apple-Chip. Vor allem aktuelle Modelle sollen spürbar profitieren.

MLX bringt deutlichen Temposchub auf Apple‑Silicon‑Macs

Ollama ist eine App, mit der Ihr KI-Modelle direkt lokal auf Eurem Rechner ausführen könnt. Mit der neuen Version bindet die Software nun Apples maschinelles Lernframework MLX ein, das speziell für Apple-Silicon-Chips entwickelt wurde.

Nach Angaben von Ollama verarbeitet die aktualisierte Version Eingaben, also Eure Anfragen an das Modell, rund 1,6-mal schneller. Diese Verbesserung betrifft die sogenannte Vorbefüll-Geschwindigkeit, also den Schritt, in dem das Modell den Kontext Eurer Anfrage vorbereitet.

Beim eigentlichen Erzeugen von Antworten verdoppelt sich die Geschwindigkeit nach Aussage des Anbieters nahezu. Die sogenannte Dekodier-Geschwindigkeit, also das Generieren der Textausgabe, steigt damit deutlich an und verkürzt die Wartezeit fühlbar.

Die größten Zuwächse sollen Macs mit Chips der M5‑Serie sehen. Hier profitiert Ollama von den neuen Grafikprozessor-Neuronenbeschleunigern, die Apple in diese Generation integriert hat und die besonders auf KI-Berechnungen ausgelegt sind.

Bessere Speicherverwaltung für längere KI‑Sessions

Neben der reinen Rechenleistung kümmert sich das Update auch um den Arbeitsspeicher. Ollama führt eine optimierte Speicherverwaltung ein, die den Umgang mit großen KI-Modellen effizienter machen soll.

Davon profitieren vor allem Werkzeuge, die Ihr über längere Zeit am Stück nutzt. Dazu zählen etwa KI-gestützte Programmierhilfen oder Chatassistent:innen, die viele Anfragen nacheinander verarbeiten und dabei umfangreiche Kontexte im Speicher behalten müssen.

Laut Ollama sollen sich solche Anwendungen künftig deutlich reaktionsfreudiger anfühlen, insbesondere wenn sie über längere Sessions hinweg laufen. Das Ziel ist, Verzögerungen zu verringern, die bei längerer Nutzung durch Speicherengpässe entstehen können.

Fokus auf Assistent:innen und Entwickler:innen-Tools

Besonders profitieren laut Ollama Nutzer:innen, die persönliche KI-Assistent:innen unter macOS einsetzen. Genannt werden unter anderem der Assistent OpenClaw sowie Programmierwerkzeuge wie Claude Code, OpenCode oder Codex.

Diese Werkzeuge laufen direkt auf dem Mac und greifen auf lokal ausgeführte KI-Modelle zu. Mit der neuen MLX-Integration sollen sie Eingaben schneller verarbeiten und Antworten flüssiger liefern, ohne auf externe Server angewiesen zu sein.

Die aktualisierte Version wird als Vorschau unter der Bezeichnung Ollama 0.19 bereitgestellt. Um sie sinnvoll nutzen zu können, benötigt Ihr einen Mac mit mehr als 32 GB gemeinsam genutztem Arbeitsspeicher. Nur dann lassen sich die vorgesehenen KI-Modelle in ausreichender Größe im Speicher halten.

In der aktuellen Vorschauversion unterstützt Ollama ausschließlich das KI-Modell Qwen 3.5 von Alibaba. Der Anbieter plant jedoch, die Unterstützung auf weitere Modelle auszuweiten. Konkrete Namen oder Zeitpläne nennt Ollama dafür noch nicht.

Via: https://www.macrumors.com

Den Beitrag in unserem Forum kommentieren