Apple entwickelt schlanken KI-Agenten für lokale App-Steuerung

[Apfeltalk Redaktion]

Apple hat mit Ferret-UI Lite ein kompaktes KI-Modell entwickelt, das grafische Benutzeroberflächen direkt auf Geräten versteht und bedient. Mit nur 3 Milliarden Parametern erreicht es die Leistung größerer Modelle und nutzt Techniken wie Zuschneiden und Zoom, um relevante Bildausschnitte besser zu erkennen. Ferret-UI Lite generiert seine Trainingsdaten selbst und wurde auf verschiedene Plattformen wie Android und Web trainiert.

Die Studie zeigt, dass Ferret-UI Lite bei kürzeren Aufgaben gut abschneidet, jedoch bei komplexeren Interaktionen Einschränkungen hat. Das Modell ermöglicht eine lokale Interaktion mit App-Oberflächen, ohne dass Daten an entfernte Server gesendet werden. Die vollständigen Ergebnisse und Details sind auf Apples Forschungsseite verfügbar.

Was haltet ihr von den Fortschritten in der KI-Interaktion mit Benutzeroberflächen? Diskutiert mit uns!

Klick hier, um den vollständigen Beitrag im Magazin zu lesen

Hinweis: Dieser Beitrag ist eine automatisch erstellte Zusammenfassung mithilfe von Künstlicher Intelligenz. Eine redaktionelle Prüfung fand nicht statt.