Apple entwickelt schlanken KI-Agenten für lokale App-Steuerung

Apple-Forschende haben mit Ferret-UI Lite ein kompaktes KI-Modell vorgestellt, das grafische Benutzeroberflächen direkt auf dem Gerät versteht und bedient. Trotz nur 3 Milliarden Parametern erreicht es das Niveau deutlich größerer Modelle.

Vom Bildverständnis zur Benutzeroberfläche: Die Ferret-Reihe

Im Dezember 2023 veröffentlichte ein Team von neun Forschenden die Studie „FERRET: Refer to and Ground Anything Anywhere at Any Granularity“. Darin präsentierten sie ein multimodales großes Sprachmodell, das natürliche Sprachreferenzen auf bestimmte Bildbereiche verstehen kann.

Seitdem hat Apple mehrere Folgearbeiten zur Ferret-Modellfamilie vorgelegt, darunter Ferretv2, Ferret-UI und Ferret-UI 2. Die Varianten von Ferret-UI erweitern die ursprünglichen Funktionen von FERRET und wurden speziell dafür trainiert, eine Schwäche allgemeiner multimodaler Sprachmodelle zu adressieren.

In der ersten Ferret-UI-Studie heißt es, viele dieser Modelle hätten Schwierigkeiten, Bedienoberflächen von Apps und Systemen zu verstehen und sinnvoll mit ihnen zu interagieren. Ferret-UI setzt deshalb auf ein Modell mit 13 Milliarden Parametern, das auf mobile Benutzeroberflächen und Screenshots mit fester Auflösung optimiert ist. Ferret-UI 2 erweitert das System auf mehrere Plattformen und höhere Auflösungen.

Schon die ursprüngliche Ferret-UI-Arbeit zeigte eine Anwendung, bei der Nutzer:innen das Modell befragen konnten, um besser zu verstehen, wie sie mit einer Oberfläche interagieren. Diese Funktion zielte direkt auf Hilfestellungen bei der Bedienung von Apps.

Vor wenigen Tagen hat Apple die Ferret-UI-Familie erneut erweitert: In der Studie „Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents“ beschreiben die Forschenden nun eine deutlich kompaktere Variante.

Ferret-UI Lite: Kleines Modell, spezialisierte Tricks

Laut der neuen Studie konzentrieren sich die meisten bisherigen Ansätze für GUI-Agenten auf große Grundmodelle. Deren starke Fähigkeiten beim logischen Schließen und Planen erlauben beeindruckende Leistungen bei der Navigation durch grafische Oberflächen, benötigen aber viel Rechenleistung und Serverinfrastruktur.

Gleichzeitig verweisen die Autor:innen auf Fortschritte bei Multi-Agenten-Systemen und End-to-End-GUI-Lösungen, die verschiedene Teilaufgaben wie GUI-Grundlagen, Bildschirmverständnis, mehrstufige Planung und Selbstreflexion kombinieren. In der Praxis seien diese Systeme jedoch meist zu groß und rechenintensiv für den Einsatz direkt auf Geräten.

Ferret-UI Lite setzt hier an: Das Modell mit 3 Milliarden Parametern basiert auf Ferret-UI und wurde nach Prinzipien für das Training kleiner Sprachmodelle aufgebaut. Es nutzt reale und synthetische Trainingsdaten aus verschiedenen GUI-Bereichen, kombiniert mit Zuschneide- und Zoom-Techniken zur Laufzeit, um relevante Bildausschnitte besser zu erkennen. Hinzu kommen überwachtes Feintuning und verstärkendes Lernen.

Das Modell trifft zunächst eine Vorhersage, schneidet den betreffenden Bildbereich zu und berechnet anschließend eine neue Vorhersage auf Basis dieses Ausschnitts. So gleicht es die begrenzte Kapazität bei der Verarbeitung vieler Bildtokens teilweise aus. In Benchmarks kann Ferret-UI Lite die Leistung konkurrierender GUI-Agenten mit bis zu 24-facher Parameterzahl erreichen oder übertreffen.

Automatisierte Datenerzeugung und Fokus auf plattformübergreifende Tests

Ein weiterer zentraler Beitrag der Studie ist die Art der Datenerzeugung: Ferret-UI Lite erzeugt einen Großteil seiner Trainingsdaten selbst. Dazu entwickelten die Forschenden ein Multi-Agenten-System, das direkt mit realen GUI-Plattformen interagiert und synthetische Beispiele in großem Umfang erzeugt.

Ein Aufgaben-Generator erstellt Ziele mit zunehmender Schwierigkeit, ein Planungs-Agent zerlegt sie in Schritte, ein Grounding-Agent führt diese auf dem Bildschirm aus, und ein Kritik-Modell bewertet die Ergebnisse. Dieses Trainingssystem erfasst damit auch unsaubere Situationen der Realität wie Fehler, unerwartete Zustände und Strategien zur Fehlerbehebung, die sich mit sauber annotierten Menschendaten nur schwer abbilden lassen.

Interessant ist zudem die Wahl der Testumgebungen: Während Ferret-UI und Ferret-UI 2 iPhone-Screenshots und andere Apple-Oberflächen nutzten, wurde Ferret-UI Lite auf Android-, Web- und Desktop-GUIs trainiert und mit Benchmarks wie AndroidWorld und OSWorld evaluiert.

In den Ergebnissen zeigt sich: Ferret-UI Lite schneidet bei kürzeren, kleinschrittigen Aufgaben gut ab, hat aber Nachteile bei komplexeren Interaktionen über viele Schritte hinweg. Dieser Kompromiss entspricht den Grenzen eines kleinen, lokal laufenden Modells.

Im Gegenzug bietet Ferret-UI Lite einen lokalen Agenten, der eigenständig mit App-Oberflächen interagiert, ohne Daten an entfernte Server zu senden. Die Studie mit Details zu Architektur, Benchmarks und Resultaten ist auf Apples Forschungsseite abrufbar.

Via: https://9to5mac.com

Den Beitrag in unserem Forum kommentieren