Kein Netz und kein Abo notwenig: Foundation Buddy ist der lokale KI-Chat-Bot

Fast alle KI-Anbieter haben eine mehr oder weniger gelungene Chat-App im Angebot und wollen ein Abo haben. Meistens landen die Daten dann in der Cloud. Viele wissen nicht: Mit IOS 27 bekommt das iPhone/iPad ein LLM von Apple. Und damit können wir bequem dank der App „Foundation Buddy“ chatten.

Foundation Buddy ist eine Chat-App, die nicht viel anders aussieht, als die der großen Anbieter. Mit einem Unterschied: Sie arbeitet vollständig lokal auf eurem iPhone oder iPad. Es ist weder ein Account, noch ein Abo oder eine Internet-Verbindung nötig. Außer der App muss auch nichts weiter geladen werden. Wie das geht? Apple stellt beginnend mit iOS 27 ein lokales Large Language Model auf den Geräten zur Verfügung. Dieses LLM kann angesprochen werden und genau so antworten wie andere Modelle im Internet.

Lokale KI

Foundation Buddy stellt die Schnittstelle zu diesem LLM zur Verfügung. Im Chat kann man dann wie mit jedem anderem LLM chatten, Bilder analysieren lassen und Code erzeugen. Es gibt außerdem Profile. Sie geben vor, wie sich Buddy verhalten soll. Als Berater, Software-Profi oder bester Freund zum Beispiel. Antworten kann die App Vorlesen und Chats können durchsucht werden. Mit seinen verschiedenen Persönlichkeiten kann Buddy für unterschiedliche Situationen eingesetzt werden. Er ist außerdem multimodal. Das heißt Antworten können auch in anderen Sprachen kommen, wenn gewünscht.

Außerdem kann „Buddy“ in seiner Rolle als Software-Experte auch Programmcode erzeugen. Seine Stärken liegen da bei Web-Sprachen wie PHP, HTML, CSS, Javascript. Aber auch Python und Linux-Scripte sind möglich. Erwartet zwar kein Wunder. Aber als kleine Unterstützung kann das durchaus hilfreich sein.

Einschränkungen

Da das LLM lokal auf dem iPhone/iPad läuft, hat es nicht die Qualität der so genannten Frontier-Modelle der großen Anbieter. Der Speicher im RAM auf den mobilen Geräten ist begrenzt und daher kann „Buddy“ durchaus auch mal fehlerhafte oder inkorrekte Antworten geben. Apple Intelligence kompatible iPhones haben in der Regel zwischen 8 und 12 GB RAM. Je mehr RAM Buddy zur Verfügung steht, desto besser sind seine Antworten. Wie bei allen LLMs handelt es sich nicht um eine Suchmaschine. Zwar hat „Buddy“ ein gewisses „Weltwissen“, da er aber nicht auf das Internet zugreifen kann, ist der Stand nicht aktuell.

Stärken

Seine Stärke zieht „Buddy“ aus der Fähigkeit, Bilder zu analysieren, Texte und Objekte darauf zu erkennen. Er ist außerdem in der Lage Texte zusammenzufassen oder zu übersetzen. Es ist eine klassische Chat-App. Apple hat – wie sie es auf der WWDC im Sommer angekündigt haben – seine Modelle mit Hilfe von Googles-Frontier-Modellen trainiert und daraus seine eigenen „On Device“ Modelle erzeugt. Die sogenannten „Foundation-Models“. Im Apple Kosmos gibt es zusätzlich noch die Private Cloud Compute. Sollte ein lokales Modell mehr Leistung benötigen, kann es darauf zugreifen. „Buddy“ allerdings nicht. Diese Funktion ist nicht vorgesehen. Denn Buddy soll auch ohne Internet-Verbindung laufen.

Was wie eine Schwäche wirkt, ist in Wirklichkeit aber seine Stärke. Denn damit behält „Buddy“ seine Chats für sich. Auch eine Synchronisation über die iCloud ist nicht vorgesehen. Ein Austausch mit anderen Geräten aber auf Wunsch sehr wohl. Ihr könnt „Buddy-Chats“ zum Beispiel per AirDrop teilen. Für zusätzliche Sicherheit, damit niemand eure Buddy-Chats liest, gibt es eine Face-ID-Sperre. So kommt nur ihr zu Buddy.

Schwächen

Was unterscheidet Buddy denn von den eingebauten Tools von Apple? Was macht Buddy denn demgegenüber besonders? Schließlich kann man das ganze auch über Kurzbefehle lösen. Diese Fragen haben mich auch umgetrieben. Buddy bietet einen niederschwelligen Zugang zur KI. Außerdem ist Buddy Barrierearm. So kann man viele Funktionen, die Apple über das ganze System verteilt zentral nutzen. Außerdem bietet Buddy eben eine reine lokale Verarbeitung. Während Apple Intelligence im System durchaus auch auf die Private Cloud Compute zugreifen kann und das nicht immer transparent macht.

Voraussetzungen und die wichtigsten Features

Für Buddy braucht ihr ein Apple-Intelligence-fähiges iPhone oder iPad mit mindestens 8GB Ram. Außerdem mindestens iOS/iPadOS 27. Denn nur dort stellt Apple dieses LLM zur Verfügung. Buddy läuft auch auf kompatiblen Macs mit Apple Silicon. Hier muss macOS 27 installiert sein. Das sind die wichtigsten Features:

• Lokaler KI-Chat mit Apples Foundation Model

• Verarbeitung direkt auf dem iPhone oder iPad

• Keine Anmeldung und kein eigener Buddy-KI-Server

• Verschiedene Buddy-Profile, unter anderem „Bester Freund“ und „Software-Entwickler“

• Einstellbarer Antwortstil und eigene Systemanweisungen

• Bildanalyse, Texterkennung und Objekterkennung

• Chats zwischen Buddy-Installationen importieren und exportieren

• Direkte Übertragung von Chats per AirDrop

• Biometrischer Schutz mit Face ID, Touch ID oder Optic ID

• VoiceOver- und Dynamic-Type-Unterstützung

Kosten

Die laufende Nutzung von „Buddy“ ist kostenlos. Es ist kein Account notwendig. Die App kann für einen einmaligen Preis von 0,99 Euro im Apple App Store gekauft werden. Es sind keine weiteren In-App-Käufe oder Abos für die fortlaufende Nutzung nötig. Da „Buddy“ stark von Apples LLM abhängig ist, kann es in Zukunft durchaus zu Verbesserungen oder Änderungen am Antwortverhalten kommen, wenn Apple seine Modelle aktualisiert. Mehr Infos zu Foundation Buddy habe ich für euch auf dieser Seite zusammengetragen.

Den Beitrag in unserem Forum kommentieren