Apple Foundation Models: Lokalen KI-Chatbot auf dem Mac nutzen

Lokale KI-Modelle versprechen mehr Datenschutz, gelten aber oft als speicherhungrig. Auf modernen Macs mit Apple‑Chip steht Euch bereits ein verstecktes Sprachmodell direkt im System zur Verfügung.

Über das Terminal könnt Ihr dieses Apple‑Modell ohne zusätzliche Software als einfachen Chatbot ansprechen. Wir zeigen Euch, wie Ihr es findet und was Ihr beachten müsst.

Voraussetzungen und Zugriff über das Terminal

Apples sogenannte Foundation Models sind Teil von Apple Intelligence und beantworten Anfragen standardmäßig lokal auf dem Gerät. Voraussetzung ist, dass Apple Intelligence auf Eurem Mac eingerichtet ist. Ein Mac mit M1‑Prozessor oder einem neueren Apple‑Chip reicht dafür bereits aus.

Die Foundation Models bilden im Kern den Unterbau von Apple Intelligence, also der KI-Funktionen, mit denen Ihr beispielsweise Texte in Pages oder E-Mails umformulieren oder zusammenfassen könnt. Mit macOS 27 (Golden Gate) könnt Ihr dieses lokale Systemmodell nun ohne zusätzliche Werkzeuge von GitHub direkt über das Terminal nutzen.

Um zu starten, öffnet Ihr zunächst ein Terminal-Fenster, entweder über den App-Launcher im Dock oder über die Spotlight-Suche, indem Ihr „Terminal“ eingebt. Gebt anschließend den Befehl fm ein und bestätigt mit Enter. Falls Ihr den Nutzungsbedingungen noch nicht zugestimmt habt, weist Euch das Terminal in roter Schrift darauf hin.

In diesem Fall müsst Ihr zuerst den angezeigten Anweisungen folgen und die Bedingungen akzeptieren. Danach gebt Ihr erneut fm ein. Nun erscheint eine Übersicht der verfügbaren Befehle, mit denen Ihr das lokale Modell steuern könnt.

Antworten und Chat mit dem lokalen Modell

Zum Ausprobieren eignet sich besonders der Befehl Respond. Er sorgt dafür, dass das Modell kurz und knapp auf eine einzelne Eingabe reagiert. Anders als bei ChatGPT oder Claude tippt Ihr Eure Anfrage jedoch nicht einfach frei ein, sondern müsst den Befehl korrekt aufbauen.

Ihr schreibt zuerst fm, dann Respond und anschließend Euren Prompt in Anführungszeichen. Ohne Anführungszeichen kann das Terminal den Befehl nicht richtig lesen. Ein vollständiger Befehl könnte also so aussehen, wie im Beispiel aus dem Originalartikel gezeigt wird. Nach einem Druck auf Enter generiert das Modell eine Antwort, kann aber nicht auf frühere Eingaben zurückgreifen oder sich an sie erinnern.

Weil es mühsam ist, jeden Prompt so einzutippen, könnt Ihr alternativ mit fm chat einen Chat-Modus starten. Das Terminal-Interface verändert sich dann, und Ihr könnt mit dem Modell wie mit einem Chatbot hin- und herschreiben. So erledigt Ihr mehrere Aufgaben nacheinander, ohne jedes Mal den Befehl neu zu konstruieren.

Das Modell fasst auf Wunsch Texte zusammen oder beantwortet Fragen zu eingefügten Inhalten, die Ihr einfach in das Terminal kopiert. Mit dem passenden Befehl lassen sich auch etwa Markdown-Dateien an das Modell übergeben, wie im Beispielbefehl des Artikels erläutert. Wenn Ihr Euch beim Dateipfad nicht sicher seid, könnt Ihr ihn nach dem Wort cat einfach aus einem Ordnerfenster ins Terminal ziehen. Ähnlich könnt Ihr auch Bilder verarbeiten lassen.

Grenzen, Zielgruppe und Unterschiede zu Siri AI

Apple adressiert die Foundation Models in erster Linie an App-Entwickler:innen, die die Funktionen in eigene Anwendungen integrieren sollen. Auf einer Übersichtsseite zeigt Apple, welche Möglichkeiten sich je nach App ergeben, etwa das Zusammenfassen von Texten, das Extrahieren von Daten, das Bearbeiten von Texten oder das Erstellen neuer Inhalte.

Apple weist zugleich auf Grenzen hin: Bei Logikaufgaben, Programmcode oder Mathematik kann das Modell fehleranfällig sein. Im Test beantwortete es beispielsweise die Frage nach der Anzahl der Buchstaben „E“ im Wort „Erdbeere“ falsch und nannte drei statt der korrekten vier.

Es handelt sich um ein vergleichsweise kleines Modell. Auf einem getesteten MacBook mit M1 Pro und 16 Gigabyte Arbeitsspeicher standen 4.096 Token zur Verfügung, auf einem Gerät mit M5 Pro und 48 Gigabyte Arbeitsspeicher die doppelte Menge. Der Umfang unterscheidet sich also je nach Hardware, und auch Euer Prompt wird auf dieses Limit angerechnet. Ist die Grenze erreicht, können Fehlermeldungen auftreten, im Chat funktionierte die Nutzung im Test jedoch auch darüber hinaus zuverlässig.

Gelegentlich halluziniert das Modell und „sieht“ Inhalte, die nicht vorhanden sind, etwa eine Landschaft in einem Screenshot der Notizen-App. Zudem darf es nicht mit Siri AI verwechselt werden. Apples neue Assistenz kombiniert lokale Modelle mit Cloud-Abfragen über Private Cloud Compute, ist deutlich flexibler und kann Anfragen direkt in Notizen oder Erinnerungen überführen.

Das Systemmodell läuft zwar lokal auf Eurem Mac, greift aber nicht ohne Weiteres auf Dateien zu und kann sie nicht direkt verändern. Aufgaben wie das Aufräumen des Download-Ordners erfordern ein passendes Skript. Für die meisten Nutzer:innen ist das Modell damit eher ein verstecktes Extra, mit dem sich offline experimentieren lässt. Wer es umfassend einsetzen will, sollte sich genauer mit Terminal, Shell, Python und JSON beschäftigen.

Via: https://t3n.de

Den Beitrag in unserem Forum kommentieren